Nghiên cứu hệ thống kiểm tra sản phẩm nhựa linh kiện máy in ứng dụng công nghệ học sâu

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu hệ thống kiểm tra sản phẩm nhựa linh kiện máy in ứng dụng công nghệ học sâu TRẦN QUANG LINH Linh.tq211287m@sis.hust.edu.vn Ngành Kỹ thuật Cơ Điện Tử Giảng viên hướng dẫn: TS Nguyễn Trọng Doanh Trường: Nhóm chuyên mơn: Cơ Khí Thiết bị tự động HÀ NỘI, 04/2023 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Trần Quang Linh Đề tài luận văn: Nghiên cứu hệ thống kiểm tra sản phẩm nhựa linh kiện máy in ứng dụng công nghệ học sâu Chuyên ngành: Kỹ thuật Cơ Điện Tử Mã số SV: 20211287M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 26/04/2023 với nội dung sau: - Bổ sung thêm thông tin sản phẩm kiểm tra vào chương - Sửa đổi, chỉnh sửa hình ảnh có tên khơng giống với hình ảnh để cập chương - Bổ sung thêm số lượng ảnh thử nghiệm số lượng thực nghiệm vào chương - Bổ sung thêm so sánh ưu nhược điểm phương pháp PaDiM, RegAD, DFR - Chỉnh sửa lỗi tả trang 19 - Sửa lại lỗi chế khác luận văn theo phản biện Ngày tháng năm 2023 Giáo viên hướng dẫn Tác giả luận văn Nguyễn Trọng Doanh Trần Quang Linh CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Nghiên cứu hệ thống kiểm tra sản phẩm nhựa linh kiện máy in ứng dụng công nghệ học sâu Giáo viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Để hoàn thành Luận văn Thạc sĩ này, tơi xin bày tỏ lịng biết ơn đến TS Nguyễn Trọng Doanh Trường Cơ Khí – Đại học Bách Khoa Hà Nội tận tình hướng dẫn, định hướng đào tạo giúp đỡ tơi suốt q trình nghiên cứu hoàn thành luận văn Xin chân thành cảm ơn q Thầy Cơ giáo nhóm chun mơn Thiết bị tự động, trường Cơ khí, ĐHBKHN giảng dạy, tạo điều kiện giúp đỡ thời gian nghiên cứu làm luận văn Cuối cùng, xin bày tỏ kính trọng, biết ơn lịng u thương tới gia đình, bạn bè động viên, giúp đỡ suốt thời gian tơi học tập nhóm chun mơn Thiết bị tự động - Trường Cơ khí - Đại học Bách Khoa Hà Nội Lời cam đoan Tơi xin cam đoan cơng trình nghiên cứu riêng tơi Cơng trình thực Trường Cơ khí, Đại học Bách Khoa Hà Nội hướng dẫn TS Nguyễn Trọng Doanh Các số liệu kết nghiên cứu luận văn trung thực chưa công bố cơng trình khác Ngày tháng năm 2023 Người hướng dẫn Tác giả luận văn TS Nguyễn Trọng Doanh Trần Quang Linh Tóm tắt nội dung luận văn Luận văn trình bày nghiên cứu giải pháp phát lỗi ngoại quan, lỗi khuyết tật xước bề mặt sản phẩm linh kiện nhựa cấu thành máy in loại bỏ sản phẩm lỗi khuyết tật quán trình đúc sản phẩm linh kiện nhựa cấu thành máy in Trong ngành khuôn đúc, trình kiểm tra ngoại quan khơng thể thiếu trình sản xuất Hệ thống tổng thể bao gồm hệ thống băng tải tự động, robot công nghiệp hệ thống thu nhận xử lý ảnh bao gồm camera hệ thống điều khiển vi xử lý Những linh kiện có khuyết tật bề mặt làm ảnh hưởng đến tuổi thọ chung máy in làm giảm độ tin cậy thiết bị dẫn tới giảm uy tin với khách hàng Do vậy, cần giải pháp để kiểm tra phát khuyết tật bề mặt cách tự động nhiên lỗi khuyết tật thường xảy ngẫu nhiên khó dự đốn trước nên cần cách tiếp cận huấn luyện cho mơ hình hình ảnh định nghĩa bình thường Để tìm giả pháp tối ưu cách thực so sánh ba mơ hình học máy với cách tiếp cận khác phương pháp PaDiM, Reg-AD, DFR PaDiM phương pháp máy học thông thường hiệu suất phát theo mô hình 97,1%, mơ hình có tốc độ huấn luyện nhanh nhiên sử dụng với sản phẩm, mơ hình Reg-AD có hiệu suất phát theo mơ hình 96% mơ hình cải tiến mơ hình PaDiM nhận diện nhiều loại sản phẩm máy in có nhiều linh kiện cấu thành, mơ hình DFR có hiệu suất phát theo mơ hình 96.1% nhiên mơ hình có thời gian huấn luyện lâu ba mơ hình nhận diện sản phẩm với lần huấn luyện nhiên độ xác thực nghiệm cho kết tốt Mơ hình huấn luyện Google Colab thực nghiệm máy tính có CPU i7-6820HQ, Ram 32GB, Vga Quadro 4GB Vram với thư viện mã nguồn mở Pytorch, OpenCV Đề tài mở rộng thêm liệu linh kiện khác máy in nâng cấp thêm phần cứng kết hợp ưu điểm mơ hình thử nghiệm để đưa phương pháp tối ưu HỌC VIÊN Ký ghi rõ họ tên Trần Quang Linh MỤC LỤC DANH MỤC TỪ VIẾT TẮT x CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Giới thiệu chung 1.2 Giới thiệu công nghệ học sâu: 1.3 sâu: Tổng quan quản lý sản xuất, phân loại sản phẩm ứng dụng học 1.4 1.3.1 Tổng quan quản lý sản xuất: 1.3.2 Tổng quan phân loại sản phẩm: Tổng quan phương pháp kiểm tra linh kiện nhựa cấu thành máy in: 1.4.1 Khái niệm kiểm tra ngoại quan: 1.4.2 Tổng quan kiểm tra ngoại quan tự động: CHƯƠNG CƠ SỞ LÝ THUYẾT CỦA ĐỀ TÀI 2.1 Các phương pháp kiểm tra truyền thống: 2.1.1 Phương pháp kiểm tra ngoại quan độ nhám bề mặt: 2.1.2 Phương pháp đánh giá toàn diện ngoại quan linh kiện nhựa đúc: 2.1.3 Một số nghiên cứu liên quan đến kiểm tra ngoại quan ứng dụng công nghệ thị giác máy: 2.2 Nội dung nghiên cứu luận văn: 10 2.3 Hệ thống xử lý ảnh: 10 2.4 2.3.1 Các khái niệm bản: 10 2.3.2 Các thành phần hệ xử lý ảnh: 12 Những phương pháp xử lý ảnh hiệu chỉnh camera: 13 2.5 Công nghệ học máy, học sâu ứng dụng hệ thống kiểm tra sản phẩm nhựa linh kiện máy in ứng dụng công nghệ học sâu : 16 2.5.1 Học máy: 16 2.5.2 Học sâu: 22 2.5.3 Phương pháp đánh giá mơ hình: 28 CHƯƠNG PHƯƠNG PHÁP TỰ ĐỘNG KIỂM TRA NGOẠI QUAN LINH KIỆN NHỰA 30 3.1 Mơ hình PaDiM: 30 3.2 Mơ hình RegAD (Resistration based Few-Shot Anomaly Detection): 33 3.3 3.2.1 Tìm điểm bất thường: 35 3.2.2 Học lần: 35 3.2.3 Tìm điềm bất thường với học lần: 36 Mơ hình DFR: 37 CHƯƠNG ĐÁNH GIÁ KẾT QUẢ NGHIÊN CỨU 47 4.1 Mơi trường thử nghiệm mơ hình: 47 4.2 Đánh giá thảo luận: 48 4.2.1 Đánh giá kết quả: 48 4.2.2 Thảo luận: 52 KẾT LUẬN VÀ ĐỀ XUẤT 53 Kết luận 53 Hướng phát triển luận văn tương lai 53 TÀI LIỆU THAM KHẢO 54 PHỤ LỤC 55 DANH MỤC HÌNH VẼ Hình 1.1 Sản xuất thời đại công nghệ 4.0 Hình 1.2 Hình ảnh công nhân kiểm tra ngoại quan mắt thường Hình 1.3 Kiểm tra ngoại quan sử dụng công nghệ thị giác máy Hình 1.4 Kết hợp Robot hệ thống thị giác máy Hình 1.5 Máy Một hệ kiểm tra ngoại quan sử dụng thị giác máy Hình 2.1 Các bước hệ thống xử lý 12 Hình 2.2 Chuyển đổi ảnh màu sang ảnh sáng 14 Hình 2.3 Bộ lọc Gausian cho hình ảnh 14 Hình 2.4 Sử dụng giải thuật dilation 15 Hình 2.5 Phép erosion 15 Hình 2.6 Viền contour màu xanh bao quanh vật thể 16 Hình 2.7 Phân loại nhóm mơ hình máy học 17 Hình 2.8 Ví dụ hồi quy tuyến tính 19 Hình 2.9 Ví dụ Logistic Regression 19 Hình 2.10 Ví dụ Decision Trees 20 Hình 2.11 Ví dụ Random Forests 20 Hình 2.12 Ví dụ Support Vector Machine 21 Hình 2.13 Ví dụ Deep Learning 22 Hình 2.14 Ví dụ dạng mơ hình CNNs 23 Hình 2.15 Cách thức mơ hình CNN hoạt động 24 Hình 2.16 Ví dụ cách mơ hình CNNs hoạt động 25 Hình 2.17 Ví dụ mơ hình AutoEncoder 25 Hình 2.18 Kiến trúc mơ hình Autoencoder 26 Hình 2.19 Đánh giá mơ hình theo số AUC-ROC 29 Hình 2.20 Đánh giá mơ hình theo số AUC-ROC 29 Hình 3.1 Ví dụ mơ hình PaDiM 31 Hình 3.2 Cách thức hoạt động mơ hình PaDiM 31 Hình 3.3 Mơ hình FSAD 34 Hình 3.4 Kiến trúc mơ hình RegAD 36 Hình 3.5 Ví dụ hình ảnh đồ dị thường 38 Hình 3.6 Cách thức mơ hình DFR hoạt động 42 Hình 3.7 Minh họa trình tạo đặc trưng khu vực đa tỷ lệ đề xuất Hình xem tốt màu sắc 44 Hình 4.1 Hình ảnh kích thước sản phẩm thử nghiệm 47 Hình 4.2 Cấu trúc tập liệu dùng để thử nghiệm 48 Hình 4.3 Linh kiện bình thường mơ hình nhận diện 48 Hình 4.4 Linh kiện mơ hình nhận diện linh kiên bất thường 49 Hình 4.5 Kết mơ hình sau huấn luyện mơ hình PaDiM 49 Hình 4.6 Linh kiện bị sứt góc mơ hình khơng nhận diện linh kiện bất thường 49 Hình 4.7 Linh kiện có nhiều bất thường nhiều vị trí khác 49 Hình 4.8 Kết mơ hình sau huấn luyện mơ hình Reg-AD 50 Hình 4.9 Kết mơ hình sau huấn luyện mơ hình DFR 51 Hình 4.10 Linh kiện mơ hình DFR nhận liện linh kiện bình thường 51 Hình 4.11 Linh kiện bị sứt nhỏ phía góc bên trái 51 Hình 4.12 Linh kiện có nhiều vị trí bất thường 52 DANH MỤC TỪ VIẾT TẮT STT Ý nghĩa Patch Distribution Modeling - Tên mơ hình máy học Registration based Few-Shot Anomaly Detection - Tên Reg-AD mơ hình học sâu DFR Deep Feature Reconstruction - Tên mơ hình học sâu AUC Area Under The Curve ROC Receiver Operating Characteristics (AUC-ROC) - Area Under The Receiver Operating AUROC Characteristics Ký hiệu PaDiM khoảng cách theo pixel hình ảnh trình tái tạo nó, chẳng hạn khoảng cách 𝑙𝑙2 số tương tự cấu trúc (SSIM) Họ cho mã hóa tự động đào tạo liệu bình thường khơng thể tái tạo liệu bất thường Các mơ hình hệ sâu dựa mã hóa tự động biến đổi (VAE) mạng đối nghịch hệ (GAN) sử dụng theo cách tương tự Baur et al sử dụng VAEGAN để phát điểm bất thường tổn thương Hình ảnh MR não 2D thành phần GAN sử dụng để huấn luyện đối thủ nhằm nâng cao chất lượng tái tạo Trong trình thử nghiệm, họ sử dụng khoảng cách 𝑙𝑙1 pixel để chấm điểm điểm bất thường Schlegl cộng thực ý tưởng tương tự để phát bất thường hình ảnh chụp cắt lớp mạch lạc quang học thay vào sử dụng mã hóa tự động tích chập Ngoại trừ số liệu khoảng cách thông thường, phương pháp phát dựa mơ hình tổng qt sâu thúc đẩy xác suất tái tạo điểm khả phép đo dị thường bổ sung Bên cạnh đó, thay so sánh khác biệt hình ảnh thử nghiệm đầu vào với tái tạo nó, số phương pháp đề xuất tính tốn phần dư hình ảnh thử nghiệm với đối tượng bình thường gần Schlegl cộng đề xuất AnoGAN họ đào tạo GAN hình ảnh bình thường, sau phát bất thường cách so sánh khác biệt hình ảnh thử nghiệm đối tượng bình thường gần GAN tạo Cụ thể, trước tiên họ phải tìm kiếm mã tiềm ẩn gần hình ảnh thử nghiệm khơng gian tiềm ẩn GAN thơng qua quy trình tối ưu hóa Với mã thu được, họ tạo hình ảnh bình thường gần dự kiến để so sánh David cộng đề xuất phát bất thường cách so sánh khác biệt hình ảnh thử nghiệm phiên bình thường gần Họ đào tạo VAE liệu thơng thường, sau tìm thơng thường gần cho hình ảnh thử nghiệm cách cập nhật lặp lại đầu vào VAE thông qua giảm độ dốc tổn thất tái tạo xác định hình ảnh thử nghiệm đầu VAE Cả hai phương pháp cần bước tìm kiếm, chúng khơng hiệu thực tế Do phương pháp dựa tái tạo phát bất thường hình ảnh pixel khơng gian hình ảnh nên chúng thường u cầu tạo hình ảnh có chất lượng cao để so sánh Tuy nhiên, thân vấn đề, tức tạo hình ảnh chất lượng cao, cịn nhiều thách thức Khơng giống mơ hình dựa tái tạo phát bất thường khơng gian hình ảnh, phương pháp dựa tính phát bất thường khơng gian tính Những cách tiếp cận dành để xây dựng biểu diễn mô tả cho vùng vùng cục hình ảnh tính thủ công nhúng mạng thần kinh tạo Sau đó, mơ hình học máy có liên quan, chẳng hạn mã hóa rời rạc, mơ hình hỗn hợp gaussian phân cụm kmeans, sử dụng để tìm hiểu phân bố đặc điểm khu vực thơng thường Trong q trình suy luận, đặc điểm khu vực tương ứng với khu vực cục hình ảnh thử nghiệm khác với phân phối học, khu vực bất thường phát Để nâng cao hiệu suất phát hiện, 41 mơ hình đa tỷ lệ thường áp dụng, chúng kết hợp nhiều mơ hình thu từ kích thước vùng ảnh khác lại với Gần đây, Bergmann et al phát triển liệu điểm chuẩn toàn diện cho phân đoạn dị thường không giám sát, bao gồm loại kết cấu đối tượng khác với 70 loại dị thường khác Họ đánh giá nhiều phương pháp tái tạo đại dựa tính tập liệu nhận thấy khơng có phương pháp số hoạt động tốt cách ổn định tồn phòng cải tiến đáng kể Họ tận dụng tính CNN sâu chuyển giao phát bất thường hình ảnh thơng qua hồi quy tính Cụ thể, họ đào tạo mạng lưới mạng có liên kết tập liệu lớn với hướng dẫn CNN sâu đào tạo trước (ví dụ: resnet18) nhóm mạng lưới sinh viên bắt chước hành vi giáo viên liệu khơng có bất thường Trong q trình kiểm tra, học sinh sử dụng để dự đoán đầu giáo viên điểm bất thường tính tốn dựa lỗi độ khơng đảm bảo dự đoán tương ứng Giả định học sinh đào tạo để hồi quy đầu giáo viên hình ảnh bình thường tốt dự đốn khơng theo kịp giáo viên hình ảnh bất thường Bên cạnh đó, tác giả đề xuất sử dụng mơ hình đa tỷ lệ để nâng cao hiệu suất phát cuối cùng, tức tập hợp nhiều cặp “học sinh-giáo viên” với kích thước vá hình ảnh khác trường tiếp nhận khác Đề xuất tận dụng tính CNN sâu chuyển giao đặc biệt mơ hình hóa đa tỷ lệ Tuy nhiên, nên xây dựng biểu diễn đối tượng đa tỷ lệ thay tập hợp mơ hình phát điểm bất thường thơng qua trình tái tạo đối tượng Hình 3.6 Cách thức mơ hình DFR hoạt động Ta phân đoạn dị thường khơng giám sát phác thảo Hình.1.29 Nó có bốn giai đoạn, tức trích xuất tính hình ảnh phân cấp, tạo tính khu vực đa tỷ lệ, tái tạo tính chuyên sâu, chấm điểm phân đoạn Với hình ảnh đầu vào, trước tiên, đặc điểm hình ảnh phân cấp phân biệt (bản đồ đặc trưng) trích xuất thơng qua CNN sâu đào tạo trước Sau đó, trình tạo đối tượng khu vực lấy đồ đối tượng phân cấp làm đầu vào biến đổi chúng thành đồ đối tượng có khối lượng tương đối lớn, chất thiết lập biểu diễn khu vực dày đặc, đa tỷ lệ cho toàn ảnh đầu vào Tiếp theo, CAE sâu kết hợp với biểu diễn đa tỷ lệ cố gắng tái tạo lại Cuối cùng, để phát phân đoạn vùng dị thường ảnh, lỗi tái tạo đồ điểm bất thường tính tốn Các điểm 42 bất thường phân đoạn điểm đồ điểm bất thường lớn ngưỡng ước tính người dùng xác định a Tạo tính hình ảnh phân cấp: Sử dụng CNN đào tạo trước để tạo đặc điểm phân biệt phân cấp phong phú cho hình ảnh đầu vào sau đưa chúng vào trình tạo đặc điểm khu vực đa quy mô Giả sử có mạng nơ ron tích chập với 𝐿𝐿 lớp tích chập, thơng thường lớp thực thành phần chức Convolution, Batch Normalization (BN) Rectified Linear Units (ReLU) Cho 𝒙𝒙 với chiều cao ℎ, chiều rộng 𝑤𝑤 kênh 𝑐𝑐 ảnh Truyền qua mạng, thu tập hợp đồ đặc trưng đầu {𝜙𝜙1(𝒙𝒙), 𝜙𝜙2(𝒙𝒙), , 𝜙𝜙𝜙𝜙(𝒙𝒙)} từ 𝐿𝐿 lớp chập, đồ đặc trưng thứ 𝑙𝑙 có kích thước ℎ𝑙𝑙 × 𝑤𝑤𝑤𝑤 × 𝑐𝑐𝑐𝑐 Vì đồ đặc trưng lấy từ lớp mạng độ sâu cụ thể với trường tiếp nhận cụ thể (có thể cảm nhận vùng khơng gian tương ứng hình ảnh), nên bao gồm mức độ biểu diễn trừu tượng định cho ảnh đầu vào Các lớp chập nông với trường tiếp nhận tương đối nhỏ nắm bắt đặc điểm cấp thấp chẳng hạn cấu trúc kết cấu hình ảnh Khi lớp sâu trường tiếp nhận chúng trở nên lớn hơn, đồ tính đầu tương ứng mã hóa nhiều thơng tin tồn cầu cấp cao hơn, chẳng hạn đối tượng phận đối tượng hình ảnh đầu vào Do đó, tập hợp đồ đặc trưng {𝜙𝜙𝜙𝜙(𝒙𝒙)}𝑙𝑙𝑙𝑙=1 tự nhiên tạo thành biểu diễn phân cấp phong phú hình ảnh đầu vào từ chi tiết cục đến thông tin ngữ nghĩa tổng thể Ví dụ, trình bày chi tiết lớp chập đánh số kích thước trường tiếp nhận (RF) tương ứng VGG19 BẢNG I Mạng VGG19 bao gồm 16 lớp chập kích thước trường tiếp nhận tăng dần từ đến 252 lớp trở nên sâu Do đó, đây, VGG19 tạo 16 cấp độ biểu diễn khác cho hình ảnh đầu vào b Tạo tính khu vực đa quy mơ: Với đồ đặc trưng CNN phân cấp làm đầu vào, trình tạo đặc trưng khu vực tạo biểu diễn đa tỷ lệ phân biệt đối xử cho tiểu vùng hình ảnh Sơ đồ tổng thể hiển thị Hình 1.30 Trước tiên, chỉnh đồ đặc trưng CNN {𝜙𝜙𝜙𝜙(𝒙𝒙)}𝑙𝑙𝑙𝑙=1 bắt nguồn từ trường tiếp nhận khác cách thay đổi kích thước tất chúng thành kích thước khơng gian hình ảnh đầu vào (ℎ×𝑤𝑤) với kênh đào tạo lại: 𝜙𝜙ˆ𝑙𝑙(𝒙𝒙) = 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑒𝑒(𝜙𝜙𝜙𝜙(𝒙𝒙)) (1) Trong đồ đặc trưng thứ 𝑙𝑙 chỉnh 𝜙𝜙ˆ𝑙𝑙(𝒙𝒙) có kích thước ℎ×𝑤𝑤×𝑐𝑐𝑐𝑐 Sau đó, thao tác tích chập thực hiện, lọc trung bình sử dụng để tích lũy khơng gian đồ tính chỉnh với bước thích hợp Đây hoạt động tổng hợp: 𝜙𝜙¯𝑙𝑙(𝒙𝒙) = 𝑎𝑎𝑎𝑎𝑎𝑎(𝜙𝜙ˆ𝑙𝑙(𝒙𝒙)) (2) Trong kích thước đồ đặc trưng tổng hợp thứ 𝑙𝑙 ℎ𝑜𝑜×𝑤𝑤𝑤𝑤×𝑐𝑐𝑐𝑐 Hoạt động tổng hợp có hai chức năng: thứ nhất, làm mịn biến thể đối 43 tượng đồ đối tượng làm cho đối tượng tạo mạnh mẽ đầu vào nhiễu; thứ hai, cung cấp cách để kiểm sốt kích thước không gian biểu diễn đối tượng tổng hợp, chẳng hạn cách thay đổi bước tích chập Cuối cùng, tất đồ đối tượng tổng hợp thành đồ đối tượng có kích thước ℎ𝑜𝑜 × 𝑤𝑤𝑤𝑤 × 𝑐𝑐𝑐𝑐: 𝑓𝑓{1:𝐿𝐿}(𝒙𝒙) = 𝑐𝑐𝑐𝑐𝑐𝑐(𝜙𝜙¯1(𝒙𝒙), 𝜙𝜙¯2(𝒙𝒙), , 𝜙𝜙¯𝐿𝐿(𝒙𝒙)) (3) Trong 𝑓𝑓{1:𝐿𝐿}(𝒙𝒙) biểu thị đồ đối tượng địa lý kết kết hợp từ đồ đối tượng địa lý tổng hợp thứ đến 𝐿𝐿 độ sâu số lượng kênh 𝑐𝑐𝑐𝑐 cho 𝑐𝑐𝑐𝑐 = Í𝑙𝑙𝑙𝑙=1 𝑐𝑐𝑐𝑐 Để thuận tiện, số chỗ, rút gọn 𝑓𝑓 (𝒙𝒙) thay cho 𝑓𝑓{1:𝐿𝐿}(𝒙𝒙) phần lại Rõ ràng, đồ đặc trưng cuối thu thực tế hợp loạt đồ đặc trưng CNN phân cấp biến đổi Về chất, đồ tính hợp tạo thành mô tả khu vực dày đặc đa tỷ lệ cho hình ảnh đầu vào Như Hình 1.30 minh họa, đồ đặc trưng CNN nhánh lấy từ lớp tích chập với trường tiếp nhận cụ thể Mỗi tính đồ tính nhánh định mơ tả tiểu vùng hình ảnh có kích thước khơng gian cụ thể với trường tiếp nhận tương ứng Khi chuyển đổi tất đồ đặc trưng CNN phân cấp nhánh với thao tác chỉnh, tổng hợp nối, thành đồ đặc trưng có khối lượng lớn, đương nhiên có biểu diễn đa tỷ lệ dày đặc cho vùng cục hình ảnh Nó dày đặc đa tỷ lệ đặc trưng đa tỷ lệ 𝑓𝑓𝑓𝑓,𝑗𝑗 (𝒙𝒙) với số chiều 𝑐𝑐𝑐𝑐 đồ đặc trưng thu 𝑓𝑓 (𝒙𝒙) bao gồm mô tả đa tỷ lệ cho tiểu vùng tương ứng ảnh, (𝑖𝑖 , 𝑗𝑗) biểu thị vị trí khơng gian đồ đặc trưng Cụ thể, đặc điểm tương ứng với vùng không chồng lấp hình ảnh với kích thước khơng gian ℎ/ℎ𝑜𝑜 × 𝑤𝑤/𝑤𝑤𝑤𝑤 Ví dụ: hình ảnh có kích thước 256 × 256 đồ đối tượng có kích thước khơng gian 64 × 64, đối tượng đồ biểu thị vùng pixel × hình ảnh Nếu tạo biểu diễn đối tượng cuối 𝑓𝑓 (𝒙𝒙) có kích thước khơng gian với hình ảnh, tức ℎ = ℎ𝑜𝑜 𝑤𝑤 = 𝑤𝑤𝑤𝑤, thu biểu diễn theo pixel Hình 3.7 Minh họa trình tạo đặc trưng khu vực đa tỷ lệ đề xuất Hình xem tốt màu sắc 44 Lưu ý sử dụng tính khu vực đa tỷ lệ để biểu thị vùng cục tương ứng hình ảnh, thường lấy tính tỷ lệ từ khu vực lớn tệp tiếp nhận Một đặc điểm khu vực đa quy mô không mơ tả đặc điểm cục tiểu vùng mà cịn mã hóa nhiều thơng tin bối cảnh khơng gian đặc điểm tồn cầu nó, làm cho phân biệt đối xử có lợi cho việc phát bất thường Ngoài ra, xác định tỷ lệ biểu diễn khu vực tương ứng với lớp phân cấp CNN kích thước không gian tỷ lệ cụ thể với kích thước trường tiếp nhận lớp tích chập tương ứng Ví dụ: sử dụng tất lớp tích chập phân cấp VGG19, cuối có biểu diễn khu vực đa tỷ lệ với 16 tỷ lệ khác Và kích thước thang đo tương ứng với trường tiếp nhận cụ thể lớp tích chập tìm thấy BẢNG I Ngồi ra, người ta linh hoạt lựa chọn tổ hợp thang đo đặc trưng khác để đáp ứng yêu cầu ứng dụng c Tái tạo tính sâu: Các tính khu vực đa quy mô phân biệt đối xử Tuy nhiên, kích thước đặc trưng, tức 𝑐𝑐𝑐𝑐, thường lớn Để tận dụng biểu diễn khu vực có kích thước cao để phát bất thường hiệu nhanh chóng, thiết kế mã hóa tự động tích chập hiệu quả, bao gồm hoạt động tích chập × kích hoạt ReLU Cụ thể, sử dụng CAE để tích hợp biểu diễn khu vực đa tỷ lệ dày đặc 𝑓𝑓 (𝒙𝒙) nén vào khơng gian tiềm ẩn có kích thước thấp, sau quản lý để tái tạo lại biểu diễn Biểu diễn đầu vào 𝑓𝑓 (𝒙𝒙) cấu trúc lại 𝑓𝑓ˆ(𝒙𝒙) sử dụng để chấm điểm phân đoạn điểm bất thường giai đoạn quy trình Đào tạo CAE dựa biểu diễn vùng hình ảnh bình thường với tổn thất tái tạo đo khoảng cách 𝑙𝑙2 theo cặp trung bình biểu diễn vùng dày đặc chép 𝑓𝑓ˆ(𝒙𝒙) thật 𝑓𝑓 (𝒙𝒙) Lưu ý 𝑓𝑓 (𝒙𝒙) 𝑓𝑓ˆ(𝒙𝒙) thực tế đồ đối tượng có kích thước ℎ𝑜𝑜 × 𝑤𝑤𝑤𝑤 × 𝑐𝑐𝑐𝑐 đối tượng khu vực 𝑓𝑓𝑓𝑓,𝑗𝑗 (𝒙𝒙) có kích thước 𝑐𝑐𝑐𝑐 đồ đối tượng khu vực 𝑓𝑓 (𝒙𝒙) tương ứng với vùng cục hình ảnh đầu vào d Chấm Điểm Bất Thường Phân Đoạn: Ở giai đoạn cuối quy trình, phát tất vùng dị thường có sở hình ảnh đầu vào đồ đặc điểm khu vực chép 𝑓𝑓ˆ(𝒙𝒙) thật 𝑓𝑓 (𝒙𝒙) Trước tiên, suy luận đồ điểm bất thường cách so sánh biểu diễn chân lý sở 𝑓𝑓 (𝒙𝒙) khả tái tạo 𝑓𝑓ˆ(𝒙𝒙) nhị phân hóa đồ dị thường với ngưỡng định để phân đoạn điểm bất thường Định nghĩa đồ điểm bất thường đồ dị thường lỗi tái tạo theo cặp đồ tính khu vực đầu vào 𝑓𝑓 (𝒙𝒙) đồ tái tạo 𝑓𝑓ˆ(𝒙𝒙): 𝐴𝐴𝐴𝐴,𝑗𝑗 (𝒙𝒙) = || 𝑓𝑓𝑓𝑓,𝑗𝑗 (𝒙𝒙) − 𝑓𝑓ˆ𝑖𝑖,𝑗𝑗 (𝒙𝒙)||2 (5) 45 Trong 𝐴𝐴𝐴𝐴,𝑗𝑗 (𝒙𝒙) điểm bất thường đặc trưng vùng 𝑓𝑓𝑓𝑓,𝑗𝑗 (𝒙𝒙) (𝑖𝑖, 𝑗𝑗) biểu thị khơng gian vị trí mà đối tượng vùng 𝑓𝑓𝑓𝑓,𝑗𝑗 (𝒙𝒙) nằm đồ đối tượng vùng 𝑓𝑓 (𝒙𝒙) ảnh đầu vào 𝒙𝒙 Tương ứng, 𝐴𝐴(𝒙𝒙) đồ dị thường vùng ảnh có kích thước khơng gian với 𝑓𝑓 (𝒙𝒙), tức ℎ𝑜𝑜 ×𝑤𝑤𝑤𝑤 Để có đồ dị thường theo pixel 𝐴𝐴ˆ(𝒙𝒙) cho hình ảnh, tiếp tục lấy mẫu song song đồ dị thường khu vực với kích thước khơng gian hình ảnh Giả định CAE đào tạo đặc điểm khu vực hình ảnh bình thường khơng thể tái tạo đặc điểm khu vực tương ứng với khu vực hình ảnh dị thường Do đó, vùng dị thường trùng khớp với lỗi tái tạo lớn đặc điểm vùng tương ứng điểm cao đồ dị thường Để có kết phân đoạn cuối cùng, nhị phân hóa ánh xạ dị thường 𝐴𝐴ˆ(𝒙𝒙) với ngưỡng 𝑇𝑇 Cụ thể, sử dụng tỷ lệ dương tính giả (FPR) chấp nhận liệu bình thường để ước tính ngưỡng phân khúc Ví dụ: FPR chấp nhận dự kiến 0, điều có nghĩa ngưỡng phải cho khơng có pixel hình ảnh bình thường bị phân loại sai thành điểm bất thường Nếu FPR 0,005 ngưỡng phân đoạn phải đáp ứng 0,5 phần trăm pixel hình ảnh bình thường phát khơng xác bất thường 46 CHƯƠNG ĐÁNH GIÁ KẾT QUẢ NGHIÊN CỨU 4.1 Mơi trường thử nghiệm mơ hình: Sản phẩm thử nghiệm: linh kiện nhựa bên máy in canon với tên gọi (SCN Motor Cover M61 WH) mã sản phẩm QC5-4856-V1 Sản phẩm sản xuất với nhựa nhựa ABS (trắng) bề mặt sản phẩm bền mặt nhám Kích thước sản phẩm với ba chiều (dài x rộng x cao) (67.5 x 38.34 x 3.1 mm) Bản vẽ kỹ thuật sản phẩm mô tả hình 4.1 Hình 4.1 Hình ảnh kích thước sản phẩm thử nghiệm Hệ thống thử nghiệm: phần hệ thống kiểm tra sản phẩm linh kiện nhựa máy in Để so sánh phương pháp luận văn sử dụng chung tập liệu thử nghiệm Mơ hình xử lý ảnh thử nghiệm với tập liệu linh kiện nhựa cấu thành máy in liệu ảnh bao gồm 800 ảnh tập huấn luyện chia 80% tổng số liệu ảnh sản phẩm bình thường 20% tập thử nghiệm bao gồm sản phẩm bình thường sản phẩm bất thường để đối chứng Trong ảnh đưa vảo huấn luận 800 ảnh ảnh tập đào tạo 635 ảnh, ảnh tập thử nghiệm 165 ảnh Ảnh đưa vào thử nghiệm thực nghiệm 60 ảnh ngoại quan bao gồm điểm khuyết tật nhiều điểm kích thước số lượng lỗi Để huấn luyện mơ hình sử dụng Google Colab thiết bị dùng để kiểm chứng đánh giá kế thực nghiệm có thơng số: CPU intel core i7-6820HQ, Ram 32 Gb, Vga quadro 4Gb VRam Các thư viện sử dụng bao gồm: Python 3.11, OpenCV, Pytorch số thư viện Cuda để sử dụng Vga 47 Hình ảnh cấu trúc tập liệu thử nghiệm mô tả hình 4.2 Hình 4.2 Cấu trúc tập liệu dùng để thử nghiệm 4.2 Đánh giá thảo luận: 4.2.1 Đánh giá kết quả: 4.2.1.1 Đánh giá kết mơ hình PaDiM: Luận văn sử dụng phương pháp chọn ba lớp ResNet18 huấn luyện từ mạng ImageNet để trích xuất đặc tính đặc trưng linh kiện huấn luyện, lớp lại mạng tái sử dụng mà khơng cần huấn luyện lại Hình ảnh thay đổi kích thước ảnh 224x224 pixel để có khả xử lý vùng khuyết tật với độ xác cao giảm độ phức tạp xử lý tăng tốc độ huấn luyện mô hình Q trình huấn luyện mơ hình hồn thành sau khoảng - phút Kết mô hình dự đốn linh kiện bình thường hình 4.3 Hình 4.3 Linh kiện bình thường mơ hình nhận diện Những linh kiện có khuyết tật bề mặt mà mơ hình dự đốn hình 4.4 Kết linh kiện có khuyết tật mơ hình nhận diện có kết trả “Anomaly” Mơ hình mơ hình học khơng giám sát nên khơng cần phải gán nhãn có linh kiện, có bất thường mơ hình đốn trả kết “Anomaly” linh kiện bình thường trả kết “Good” 48 Hình 4.4 Linh kiện mơ hình nhận diện linh kiên bất thường Tuy nhiên, mơ hình mơ hình học máy khơng phải mơ hình học sâu nên có nhiều hạn chế độ xác chưa cao kết sau huấn luyện 97.3% hình 4.5 Một số trường hợp mơ hình nhận diện sai linh kiện lỗi nhỏ khiến mơ hình dự đốn từ linh kiện bất thường thành linh kiện bình thường hình 4.6 Khi linh kiện có nhiều lỗi bề mặt mơ hình nhận diện lỗi mà không nhận diện hết vị trí lỗi hình 4.7 Hình 4.5 Kết mơ hình sau huấn luyện mơ hình PaDiM Hình 4.6 Linh kiện bị sứt góc mơ hình khơng nhận diện linh kiện bất thường Hình 4.7 Linh kiện có nhiều bất thường nhiều vị trí khác Để đánh giá cách công hiệu hoạt động mơ hình ta cần số đánh giá mức độ phân loại mơ hình Hiệu suất phát dị thường mơ hình PaDiM đo số diện tích đường cong AUROC Mơ hình có số AUROC = 97.3% cấp độ hình ảnh 49 4.2.1.2 Đánh giá kết mơ hình Reg-AD: Mơ hình Reg-AD phương pháp cải tiến so với mơ hình PaDiM Mơ hình giải thêm yêu cầu cần huấn luyện để nhận diện thêm nhiều linh kiện bên máy in cần nhiều linh kiện để cấu thành nên chiệc máy in, cần nhận diện linh kiện huấn luyện lần cần phương pháp huấn luyện lần cho nhiều linh kiện Mơ hình lưu linh kiện thành vector đặc trưng ứng với linh kiện Khi có ảnh đầu vào đối chiếu vector đặc trưng với kho liệu vector đặc trưng học trước Kết nhận diện tương tự với mơ hình PaDiM nhiên mơ hình thiết kế để huấn luyện nhiều loại linh kiện lần huấn luyện nên trình huấn luyện mơ hình hồn thành sau - Kết sau kết thúc trình huấn luyện hình 4.8 Hình 4.8 Kết mơ hình sau huấn luyện mơ hình Reg-AD Hiệu suất phát dị thường mơ hình Reg-AD tương đồng với mơ hình PaDiM với số AUROC = 96.1% có sai khác mơ hình thiết kế thêm để xử lý trường hợp cần huấn luyện nhiều linh kiện lần huấn luyện 4.2.1.3 Đánh giá kết mơ hình DFR: Mơ hình DFR phương pháp khác để cải thiện độ xác cho mơ hình PaDiM mơ hình Reg-AD Cách nhận diện điểm bất thường mơ hình DFR khác với mơ hình nêu mơ hình nêu sử dụng đồ phân bố Gauss để so sánh độ lệch vector đặc trưng ảnh đầu vào với vector đặc trưng mơ hình sau huấn luyện linh kiên bình thường mà mơ hình sử dụng Auto Encoder để cố gắng tái tạo lại ảnh bình thường huấn luyện sau so sanh với pixel mà mơ hình cần thay đổi để ảnh đầu vào khớp với mô hình huấn luyện Kết nhận diện thực nghiệm mơ hình đạt độ xác cao mơ hình trước Tuy nhiên thời gian huấn luyện mơ hình lâu nhiều so với 50 mơ hình trước, thời gian để hồn thành huấn luyện cần 54-72 để huấn luyện cho mơ hình Kết huấn luyện thể hình 4.9 Hình 4.9 Kết mơ hình sau huấn luyện mơ hình DFR Với số AUROC mơ hình đạt 96.1% Kết đư đốn mơ hình linh kiện bình thường hình 4.10 Hình 4.10 Linh kiện mơ hình DFR nhận liện linh kiện bình thường Mơ hình cải thiện độ xác mơ hình PaDiM mơ hình Reg-AD kể linh kiện có bị sút nhỏ hình 4.11 linh kiên có bất thường nhiều vị trí hình 4.12 Hình 4.11 Linh kiện bị sứt nhỏ phía góc bên trái 51 Hình 4.12 Linh kiện có nhiều vị trí bất thường 4.2.2 Thảo luận: Tất mơ hình thử nghiệm đạt kết khả phát linh kiện bất thường nhận diện linh kiện bình thường Đối với mơ hình PaDiM có ưu điểm vượt trội tốc độ huấn luyện mơ hình vơ nhanh khơng huấn luyện tồn mạng CNN mà huấn luyện ba lớp đầu chứa đặc trưng hình học linh kiện Tuy nhiên, mơ hình PaDiM có số nhược điểm khơng nhận diện lúc nhiều linh kiện vài trường hợp dự đốn nhận diện hình ảnh linh kiện bình thường thành bất thường ngược lại Dể khắc phục nhược điểm nhận diện lúc nhiều linh kiện mô hình PaDiM luận văn có đề cập thêm mơ hình có khả nhận diện lúc nhiều loại linh kiện bất thường linh kiện mơ hình RegAD Mơ hình kế thừa khả nhanh chóng huấn luyện khác phục nhược diểm nhận diện linh kiện mơ hình PaDiM Tuy nhiên, mơ hình sử dụng cách tiếp cận kiểm tra khoanh vùng bất thường mơ hình PaDiM nên kết nhận diện vài trường hợp dự đoán sai Để tăng độ xác nhận diện luận văn có để cập thêm mơ hình có khả nhận diện xác bất thường linh kiện kể bất thường nhỏ có nhiều bất thường mơ hình DFR Tuy nhiên, mơ hình lại có thời gian huấn luyện lâu từ 54-72 nhận diện linh kiện với lần huấn luyện Tuy nhiên, tất phương pháp đề cập ứng dụng quy trình nhận diện phân loại sản phẩm linh kiện nhựa máy in trước đóng gói khâu trình sản xuất Kết hệ thống ứng dụng mở rộng vào thực tiễn công nghiệp cho khả phát đặc trung chi tiết theo yêu cầu nhà máy sản xuất bối cảnh cơng nghiệp hóa đại hóa 52 KẾT LUẬN VÀ ĐỀ XUẤT Kết luận Trong luận văn này, sở nghiên cứu lý thuyết điều tra tài liệu, luận văn phương pháp loại bỏ linh kiện nhựa cấu thành máy in bị khuyết tật bề mặt hệ thống phân loại đóng gói tự động Hệ thống phát liên tục loại bỏ tái chế linh kiện nhựa bị khuyết tật mang ý nghĩa tăng tuổi thọ tin cậy thiết bị máy in Kết thực nghiệm thu ứng dụng vào thực tế sản xuất cơng nghiệp có khả thi Các mơ hình có khả phát lỗi dựa học không giám sát Các mơ hình có khả phân biệt linh kiện bình thường linh kiện bất thường Điều có ích cho sản xuất cơng nghiệp thực tế vùng dị thường thường xuất ngẫu nhiên mà khó dự báo xảy vùng xảy Hướng phát triển luận văn tương lai Những giải pháp nên ứng dụng vào dây truyền sản xuất, đóng gói tự động sản phẩm linh kiện nhựa máy in giúp giảm tác động, phụ thuộc người sản xuất Cần kết hợp ưu điểm, điểm mạnh phương pháp nhận diện tốc độ, khả nhận diện nhiều loại sản phẩm mơ hình Reg-AD độ xác phương pháp DFR Kết hợp với IoT để thu thập liệu vào sở liệu chung điều kiện chạy máy, điều kiện môi trường,… từ đưa gợi ý cho người sử dụng điều kiện tối ưu sản xuất sản phẩm 53 TÀI LIỆU THAM KHẢO [1] Assessment of visual quality of injection molded thermoplastic polyurethane (TPU) parts using a multi-scale surface roughness index: Lingxiang Wu, Xianyi Zeng Hua Wang [2] A comprehensive methodology for assessing the visual appearance of injection-molded plastic parts - Sebastian Scholz, Daniel Trauth, Frank Henning [3] Visual inspection of injection-molded plastic parts using a convolutional neural network-based classifier - Sang-Hoon Kim, Tae-Young Kim, SeongMin Kim, Jong-Soo Lee [4] Visual appearance assessment of injection molded automotive interior parts using digital image processing- Qing Liu, Zhongqin Lin, Yan Qiu [5] Automated visual inspection system for plastic components using machine vision - K Dhote P Shinde [6] A novel method for surface inspection of plastic components using machine vision - R Karthik et al [7] Real-time quality control for plastic components using machine vision - H Kim et al [8] An automatic defect detection system for plastic components using machine vision - C Chen et al [9] a Patch Distribution Modeling Framework for Anomaly Detection and Localization (https://arxiv.org/abs/2011.08785) [10] Registration based Few-Shot Anomaly Detection - Chaoqin Huang, Haoyan Guan, Aofan Jiang, Ya Zhang, Michael Spratling, Yan-Feng Wang (https://arxiv.org/abs/2207.07361) [11] Deep Feature Reconstruction for Unsupervised Anomaly Segmentation - Jie Yang, Yong Shi, Zhiquan Qi (https://arxiv.org/abs/2012.07122) 54 PHỤ LỤC Source – Code huấn luyện mơ hình: Deep Feature Reconstruction: https://colab.research.google.com/drive/1QsGKDGscptsTglOAUeefLgBkubAW gULK RegAD(multi-production): https://colab.research.google.com/drive/1wEyxZu2k1g6VkM36BmDWJJFGkH K4cY1f PaDiM: https://colab.research.google.com/drive/1o_W50I3nfYBpy2vgQJbtjVIND0s0g6F Source – Code thử nghiệm: Deep Feature Reconstruction: https://github.com/hacmathan/PaDiM RegAD(multi-production): https://github.com/hacmathan/Reg-AD PaDiM: https://github.com/hacmathan/DFR Dataset thử nghiệm: https://github.com/hacmathan/dataset-luanvan 55