Ứng dụng AI-Vision phát hiện sự cố trên băng chuyền trong nhà máy sản xuất thông minh

Ngày càng có nhiều sự quan tâm đến ý tưởng về các nhà máy thông minh với 92% giám đốc điều hành sản xuất tin rằng đây là con đường của tương lai, với lượng dữ liệu đang tăng lên từng ngày mô hình nhà máy thông minh là một môi trường nơi máy móc và thiết bị có thể cải thiện quy trình thông qua tự động hoá và tối ưu hoá, do đó cần tận dụng các giải pháp thông minh hơn để làm cho toàn bộ quy trình của nhà máy hiệu quả và có thể mở rộng. Bài viết đề xuất hệ thống ứng dụng AI – Vision để giám sát và phát hiện với khoảng cách sản phẩm nằm sát mép băng chuyền

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) ỨNG DỤNG AI-VISION PHÁT HIỆN SỰ CỐ TRÊN BĂNG CHUYỀN TRONG NHÀ MÁY SẢN XUẤT THÔNG MINH Đinh Hữu Đức, Nguyễn Văn Thành, Đinh Triều Dƣơng, Hoàng Văn Xiêm Khoa Điện tử - Viễn thông, trƣờng Đại học Công nghệ, Đại học Quốc Gia Hà Nội Email: hducbkeee92@gmail.com, nvthanhch1@gmail.com, duongdt@vnu.edu.vn, xiemhoang@vnu.edu.vn Tóm tắt—Ngày có nhiều quan tâm đến ý tưởng nhà máy thông minh với 92% giám đốc điều hành sản xuất tin đường tương lai, với lượng liệu tăng lên ngày mơ hình nhà máy thơng minh mơi trường nơi máy móc thiết bị cải thiện quy trình thơng qua tự động hố tối ưu hố, cần tận dụng giải pháp thơng minh để làm cho tồn quy trình nhà máy hiệu mở rộng Cho đến thời điểm cơng nghệ trí tuệ nhân tạo (AI) mang đến cho nhà máy sản xuất khả chưa có để đẩy mạnh lực sản xuất, tối ưu hóa chuỗi cung ứng tăng tốc độ nghiên cứu phát triển, thực tế chưa có nhiều nghiên cứu ứng dụng AI nhà máy sản xuất thông minh Để giải việc đưa giải pháp thông minh nhà máy sản xuất, báo đề xuất hệ thống ứng dụng AI – Vision để giám sát phát với khoảng cách sản phẩm nằm sát mép băng chuyền 8mm không bị đặt chồng lấn tác động vào Cách phân loại sản phẩm [OK] hay [NG] dựa theo kinh nghiệm liệu chạy trực tiếp dây truyền nhà máy dựa để thiết lập tập liệu đào tạo Các sản phẩm OK sau tiếp tục đƣợc robot gắp đi, trƣờng hợp phát sinh NG hệ thống dừng cảnh báo để đƣợc khắc phục kịp thời III Kết hợp hai điều kiện trên, có y(w.x + b)>= Khoảng cách siêu phẳng đến Cần tìm siêu phẳng với lề lớn nhất, giải tốn tối ƣu tìm w b cho: đạt cực đại với ràng buộc (w + b) >= Tƣơng đƣơng với toán cực với điều kiện: (w + b) ≥ 1, tiểu hóa: i=1…r Lời giải cho tốn tối ƣu cực tiểu hóa hàm Lagrange: CÁC PHƢƠNG PHÁP AI-VISION L(w,b,α)= A Phương pháp sử dụng thuật toán SVM SVM giải thuật máy học dựa lý thuyết học thống kê Vapnik and Chervonenkis (1974), Vapnik (1999) xây dựng Bài toán SVM toán phân loại hai lớp: Cho trƣớc r điểm không gian n chiều (mỗi điểm thuộc vào lớp kí hiệu +1 –1), mục đích giải thuật SVM tìm siêu phẳng (hyperplane) phân hoạch tối ƣu cho phép chia điểm thành hai phần cho điểm lớp nằm phía với siêu phẳng [8] Hình cho minh họa phân lớp với SVM mặt phẳng | | ∑ α (| | ) Trong đó, α hệ số Lagrange, α≥0 Lời giải tìm siêu phẳng tối ƣu mở rộng trƣờng hợp liệu khơng thể tách rời tuyến tính cách ánh xạ liệu vào khơng gian có số chiều lớn cách sử dụng hàm nhân K (kernel) Một số hàm nhân thƣờng dùng nhƣ: - Hàm tuyến tính có dạng K(x,y)=x.y - Hàm đa thức có dạng K(x.y)= ) - Hàm RBF (Radial Basis Function) có dạng K(x, y) = Với khả vƣợt trội SVM tính hiệu quả, độ xác, khả xử lý liệu cách linh hoạt, việc sử dụng máy vectơ hỗ trợ SVM lựa chọn tối ƣu việc giải toán phân loại/dự báo số ngành khoa học [9] Bài viết áp dụng phƣơng pháp phân lớp sử dụng máy vectơ hỗ trợ SVM cho toán cảnh báo dây chuyền sản xuất điện thoại Hình 4: Ví dụ minh họa phân lớp với SVM Xét tập r mẫu huấn luyện {( , ), ( , ),… ( , )} Trong vector đầu vào đƣợc biểu diễn không gian X  , nhãn lớp;  1,1 Siêu phẳng tối ƣu phân tập liệu thành hai lớp siêu phẳng tách rời liệu thành hai lớp riêng biệt với lề (margin) lớn Tức là, cần tìm siêu phẳng : y = w.x + b = hai siêu phẳng , hỗ trợ song song với có khoảng cách đến Với điều kiện khơng có phần tử tập mẫu nằm , đó: Hình 5: Áp dụng thuật toán SVM việc cảnh báo trường hợp sản phẩm lỗi băng chuyền   : w.x + b >= +1 với y = +1 : w.x + b >= -1 với y = -1 ISBN 978-604-80-5958-3 330 Bƣớc 1: Đọc liệu ảnh Bƣớc 2: Sử dụng thuật toán HOG (Histogram Of Oriented Gradient) Thuật tốn tạo mơ tả đặc trƣng nhằm mục đích phát vật thể Từ ảnh, ta lấy ma trận quan trọng giúp lƣu thơng tin ảnh độ lớn gradient (gradient magnitute) phƣơng gradient (gradient orientation) Bằng cách kết hợp thông tin vào biểu đồ phân phối histogram, độ lớn gradient đƣợc đếm theo nhóm bins phƣơng gradient Cuối ta thu Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) đƣợc véc tơ đặc trƣng HOG đại diện cho histogram [10] OK (All correct) NG (Not good) Hình 6: Histogram Of Oriented Gradient   Bƣớc 3: Áp dụng thuật toán SVM để phân loại ảnh trƣờng hợp NG OK Bƣớc 4: Gán Label B Phương pháp CNN Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) [11] mơ hình Deep Learning tiên tiến, giúp cho xây dựng đƣợc hệ thống thơng minh với độ xác cao Vì tốn nhận diện ảnh chúng tơi áp dụng mơ hình CNN vào để nhận biết việc điện thoại đặt [OK] hay [NG] băng tải hay khơng, cấu trúc mơ hình CNN đƣợc thể hình Trong mơ hình hình ảnh đầu vào đƣợc tiền xử lý thay đổi đƣa kích thƣớc 64*64 pixel sau đƣợc đƣa vào lớp tích chập với số lọc lần lƣợt 64 128 có kích thƣớc kernel 3*3 bƣớc nhảy 1, với hàm kích hoạt Relu đƣợc sử dụng cho tính phi tuyến mạng, tiếp hàm Maxpooling 2*2 đƣợc áp dụng để lấy đặc điểm bật giảm kích thƣớc chiều dài, chiều rộng nửa Sau node mạng đƣợc kết nối toàn làm phẳng thông qua hàm Flatten Dense lớp Full connection, cuối lớp ouput sử dụng hàm softmax để dự đoán xác xuất node đầu Hình 7: Mơ hình CNN Mơ hình CNN mà chúng tơi áp dụng gồm có loại layers [12]: Conv+Relu: Áp dụng cho layer Ci (i=1,2) Phép tích chập trƣớc tiên đƣợc thực để tạo 2(i + 5) đồ đối tƣợng (feature maps) Sau hàm kích hoạt Relu (rectified linear unit) đƣợc sử dụng cho tính phi tuyến Max pooling: Mạng sử dụng layer max pooling 2*2 với bƣớc nhảy (stride) 1, dùng để trích xuất mẫu đồ đối tƣợng Full Connection: Layer áp dụng hàm Flatten Dense để kết nối toàn node đầu mạng Output layer: Layer kết nối hoàn toàn với layer trƣớc (Layer full connection) xuất vector 2*1 xác xuất phân loại đầu sử dụng hàm softmax IV KẾT QUẢ VÀ ĐÁNH GIÁ Để đánh giá độ xác mơ hình thực việc mô kiểm thử liệu gồm 350 chụp thực tế chia làm tập training testing liệu training gồm 140 ảnh OK ISBN 978-604-80-5958-3 331 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) 100 ảnh NG tập testing gồm 110 ảnh với tỉ lệ OK/NG 50/60 Số lƣợng cụ thể đƣợc thể bảng suất thiết bị tốt dây chuyền công nghiệp đại nghiêm ngặt TÀI LIỆU THAM KHẢO Bảng 1: Dữ liệu đánh giá Hạng mục Số lƣợng ảnh Phân loại Training OK 140 NG Total Testing [1] Total 50 190 100 60 160 240 110 350 [2] Bảng tổng hợp liệu kết độ xác model phƣơng pháp AI đƣợc sử dụng Chỉ với tập dự liệu training không lớn 350 ảnh (140 ảnh OK 100 ảnh NG) nhƣng độ xác đạt cao với Model SVM (kernel=”rbf”) đạt 91,81% model CNN 91,81% Điều hứa hẹn tỷ lệ xác cải thiện nhiều tập liệu đƣợc training đủ lớn dạng đƣợc lấy từ nhà máy Hơn với tập liệu có thời gian huấn luyện nhanh khoảng từ 23s-25s có model SVM cao 64s model CNN thêm vào thời gian xử lý dự đốn xác định hình ảnh khoảng 0.1-0.2s (bảng 3) nên hồn toàn đáp ứng đƣợc dây chuyền sản xuất tự động liên tục nhà máy [3] [4] [5] [6] [7] Bảng 2: Độ xác mơ hình (%) Số lƣợng kiểm thử Phƣơng pháp SVM(kernel="linear") SVM(kernel="poly") SVM(kernel="rbf") 110 110 110 SVM(kernel="sigmoid") CNN (20 epochs) Dự đoán Độ xác (%) 98 99 101 89.09% 90% 91.81% 110 60 54.54% 110 101 91.81% [8] [9] [10] Bảng 3: Thời gian xử lý Thời gian (Tiền xử lý Training) Thời gian dự đoán (second/Image) SVM(kernel="linear") 24.27 s 0.123 s SVM(kernel="poly") 25.29 s 0.132 s SVM(kernel="rbf") SVM(kernel="sigmoid") CNN (20 epochs) 23.74 s 24.92 s 64.03 s 0.113 s 0.127 s 0.105 s Phƣơng pháp V [11] [12] KẾT LUẬN Trong viết nghiên cứu số phƣơng pháp (mơ hình SVM, CNN) để áp dụng xác định phát điện thoại đặt OK, NG băng truyền nhà máy Qua kết thực nghiệm khẳng định tính đắn phƣơng pháp đƣợc đề xuất, phƣơng pháp cải tiến có khả áp dụng thực tế cao đồng loạt với độ xác đáng tin cậy hữu ích cho việc đảm bảo chất lƣợng sản phẩm hiệu ISBN 978-604-80-5958-3 332 PhilippOsterrieder, LukasBudde, ThomasFriedli, “The smart factory as a key construct of industry 4.0: A systematic literature review” International Journal of Production Economics, Volume 221, March 2020, 107476 Petrillo, A.; De Felice, F.; Cioffi, R.; Zomparelli, “Digital Transformation in Smart Manufacturing”, IntechOpen: London, UK, 2018; pp 1–20 Michele Calì “Smart Manufacturing Technology” Department of Electrical, Electronics and Computer Engineering (DIEEI), University of Catania, 95124 Catania, Italy, Appl Sci 2021, 11(17), 8202 Chen, B., Wan, J., Shu, L., Li, P., Mukherjee, M., & Yin, B (2018) “Smart Factory of Industry 4.0: Key Technologies, Application Case, and Challenges” IEEE Access, 6, 6505– 6519 doi:10.1109/access.2017.2783682 Frank Herrmann “The Smart Factory and Its Risks” OTH Regensburg, Innovation and Competence Centre for Production Logistics and Factory Planning, P.O Box 120327, 93025 Regensburg, Germany, Systems 2018, 6(4), 38; https://doi.org/10.3390/systems6040038 Yu Sun, Yuan Liu, Guan Wang, and Haiyan Zhang “Deep Learning for Plant Identification in Natural Environment” 1School of Information Science and Technology, Beijing Forestry University, Beijing 100083, China 22 May 2017 MihainDaniel RADU, Ilona Madalina COSTEA, Valentin Alexandru STAN “Automatic Traffic Sign Recognition Artificial Inteligence - Deep Learning Algorithm” 25-27 June 2020 Wun-Hwa Chen, Sheng-Hsun Hsu∗, Hwang-Pin Shen, “Application of SVM and ANN for intrusion detection” National Taiwan University, No 1, Section 4, Roosevelt Road, Taipei 106, Taiwan Accepted 29 March 2004 Durgesh K Srivastava, Lekha Bhambh, “Data classification using support vector machine” Journal of Theoretical and Applied Information Technology 12(1):1-7, february 2010 N Dalal and B Triggs ”Histograms of oriented gradients for human detection” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) 20-25 June 2005 Saad Albawi, Tareq Abed Mohammed, Saad Al-Zawi, “Understanding of a convolutional neural network”, 2017 International Conference on Engineering and Technology (ICET), DOI: 10.1109/ICEngTechnol.2017.8308186 Shyava Tripathi, Rishi Kumar, “Image Classification using small Convolutional Neural Network”, 2019 9th International Conference on Cloud Computing, Data Science & Engineering (Confluence), DOI: 10.1109/CONFLUENCE.2019.8776982 ... Truyền thông Công nghệ Thông tin (REV-ECIT2021) liệu chuẩn đa dạng, phƣơng pháp đƣợc đề xuất chúng tơi hồn tồn hứa hẹn tính xác cao mơ hình học máy có đƣợc dựa liệu dồi trình sản xuất nhà máy việc... 3, openCV Băng chuyền : Kích thƣớc 500x1600mm Dây kết nối Hình 2: Mơ tả hệ thống Hình 1: Mơ tả hệ thống ứng dụng AI-Vision vào việc quản lý cảnh báo trường hợp gây lỗi sản phẩm băng chuyền B Mô... gây lỗi sản phẩm băng chuyền B Mô tả cách xác định sản phẩm Trong phần báo này, trình bày đề xuất hệ thống ứng dụng AI-Vision vào phát lỗi băng tải (phần II) phƣơng pháp AI để đào tạo đƣợc giới