Mô hình phân loại sản phẩm bằng mã vạch bar code

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HỒ CHÍ MINH ~~~~~~*~~~~~~ ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: MƠ HÌNH PHÂN LOẠI SẢN PHẨM BẰNG MÃ VẠCH BAR CODE Ngành: Kỹ thuật điện Giảng viên hướng dẫn: PGS.TS Nguyễn Hùng Sinh viên thực hiện: MSSV: Lớp: Nguyễn Bá Trình 1811020075 18DDCA2 Bạch Hữu Nhân 1811020214 18DDCA2 Ngơ Kim Trọng 1811020198 18DDCA2 TP HỒ CHÍ MINH NĂM 2022 i i| P a g e ii| P a g e i| P a g e i| P a g e LỜI CAM ĐOAN Đồ án tốt nghiệp cơng trình nghiên cứu nhóm, thực hướng dẫn khoa học thầy PGS.TS Nguyễn Hùng Các số liệu, mơ hình trình bày luận văn hồn tồn trung thực Nhóm xin cam kết đề tài nhóm tự thực dựa vào số tài liệu trước khơng chép từ tài liệu hay cơng trình có trước Nhóm thực đề tài xin hồn tồn chịu trách nhiệm lời cam đoan Tp Hồ Chí Minh, ngày…tháng…năm 2022 (Ký tên ghi rõ họ tên) Nguyễn Bá Trình Bạch Hữu Nhân i| P a g e Ngô Kim Trọng LỜI CẢM ƠN  Lời đầu tiên, nhóm thực đề tài xin gửi lời cảm ơn chân thành đến PGS.TS Nguyễn Hùng tận tình giúp đỡ, giải đáp thắc mắc, hướng dẫn nhóm thực đề tài, tạo điều kiện tốt từ bố trí phịng thí nghiệm đến thiết bị vật tư suốt thời gian nhóm thực đề tài Những kiến thức bổ ích từ Thầy áp dụng vào đề tài nhiều, từ kiến thức nhỏ nhặt học lớn Một lần nhóm thực đề tài xin gửi lời cảm ơn chân thành đến Thầy Để hoàn thành tốt đồ án tốt nghiệp này, nhóm nhận giúp đỡ nhiệt tình quý thầy Viện Kỹ Thuật nói chung giảng viên ngành Kỹ Thuật Điện nói riêng trang bị kiến thức cần thiết, đóng góp ý kiến giải đáp thắc mắc liên quan đến đề tài Nhóm xin gửi lời cảm ơn đến tập thể lớp 18DDCA2 đóng góp ý kiến giúp cải thiện hệ thống, giúp đỡ nhóm suốt q trình thực đề tài Xin cảm ơn gia đình bạn bè ln bên cạnh động viên, khích lệ tinh thần để nhóm hồn thành tốt đề tài ii| P a g e TÓM TẮT  Trong đề tài này, nhóm sử dụng băng chuyền để vận chuyển sản phẩm, Camera sử dụng để phân loại vật thể dựa barcode, logo chúng bao gồm khâu chính: xử lý liệu thu nhập từ camera so sánh, phân loại Quá trình phân loại sản phẩm dựa việc thu nhập thông tin mã, logo đối tượng thông qua hệ thống Camera Nếu sản phẩm có yếu tố quy định mã logo lưu trữ kho Còn ngược lại sản phẩm khác với quy định, gỡ khỏi băng chuyền phân loại thành thích hợp Sau nhận dạng barcode, logo vật thể băng chuyền công nghệ xử lý ảnh thực nghiệm đạt độ xác cao Cơ cấu van điện từ khí nén xi-lanh nhân tín hiệu từ PLC phân loại sản phẩm vào lane quy định Tuy nhiên, hệ thống đơi lúc hoạt cịn thiếu ổn định ảnh hưởng số yếu tố ánh sáng tự nhiên gây nên bóng vật thể nên gây nhận dạng ảnh bị lỗi Cuối cùng, lập trình chương trình xử lý ảnh dựa ngơn ngữ Python thư viên nguồn mở OpenCV ảnh dựa nguồn mở OpenCV giao tiếp với PLC Kết thu hệ thống phân loại sản phẩm dựa yếu tố: logo, barcode giao tiếp với PLC hoạt động với yêu cầu đề iii| P a g e ABSTRACT  In this project, we use the conveyor to move the products, cameras are used to classify objects based on code, logo and their number including two main stages: processing collected data bythe camera and comparing and categorizing The product classification process will be based on collecting information about objects’ code, logo, and quantity through the camera system If the product has elements that comply with code, logo, and quantity, will be stored in the warehouse Otherwise, if the product is different from the regulation, it will be removed from the conveyor and classified into appropriate lanes After identifying the code, the number, and the logo of the object on the conveyor belt by image processing technology have experimented with high accuracy The electromagnetic valve and xilanh will receive a signal from the PLC acting on the stick, pushing the product into the specified lane However, the system sometimes operates still unstable due to the influence of several factors such as natural light causing shadows of the object, resulting in faulty image recognition Finally, we are program image processing programs based on the Python programming language on the OpenCV open-source library that could communicate with the PLC The result is a product classification system based on factors: logo, code, quantity, and communication with the PLC to operate properly according to the requirements iv| P a g e MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii TÓM TẮT iii ABSTRACT iv MỤC LỤC v DANH SÁCH CÁC HÌNH viii DANH SÁCH CÁC BẢNG xi DANH MỤC TỪ VIẾT TẮT xii LỜI MỞ ĐẦU CHƯƠNG GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Tình hình nghiên cứu 1.4 Mục đích nghiên cứu 1.5 Nhiệm vụ nghiên cứu 10 1.6 Các kết đạt đề tài 10 1.7 Kết cấu đề tài gồm chương 11 CHƯƠNG 12 CƠ SỞ LÝ THUYẾT 12 2.1 Tổng quan phân loại sản phẩm 12 2.1.1 Các phương pháp phân loại sản phẩm 12 2.1.2 Phương pháp phân loại sản phẩm dùng xử lí ảnh 13 2.2 Tổng quan xử lí ảnh 13 2.2.1 Xử lí ảnh số 14 2.2.2 Điểm ảnh 14 2.2.3 Độ phân giải ảnh 15 2.2.4 Mức xám 15 2.2.5 Biển diễn ảnh 16 2.2.6 Phân tích ảnh 16 v| P a g e động Nếu loại cho van xi-lanh hoạt động đẩy sản phẩm vào lane (xi-lanh đẩy cảm biến nhận tín hiệu)  Nếu loại cho van xi-lanh hoạt động đẩy sản phẩm vào lane (xi-lanh đẩy cảm biến nhận tín hiệu)  Nếu loại cho van xi-lanh hoạt động đẩy sản phẩm vào lane (xi-lanh đẩy cảm biến nhận tín hiệu)  Nếu loại khơng cho phép xi-lanh van hoạt động mà đưa sản phẩm tới cuối băng chuyền  Kết thúc Hình 4.6: Sơ đồ thuật tốn 69 | P a g e 4.3 Phần mềm mô Factory IO Factory IO phần mềm thiết kế mô trực quan hệ thống điều khiển tự động hóa theo trực quan Phần mềm giao tiếp gần với PLC Với thư viện phong phú, phần mềm Factory IO mô hệ thống, đối tượng thông thông dụng hệ thống tự động hóa dạng 3D Hình 7: Hệ thống cánh tay robot Factory I/O thiết kế sẵn 20 mơ hình dựa theo ứng dụng cơng nghiệp phổ biến Ngồi ra, sử dụng đối tượng cung cấp sẵn thư viện Factory để thiết kế dây chuyền 70 | P a g e Hình 8: Các hệ thống có sẳn Factory IO Dựa linh kiện có sẵn phần mềm nhóm chúng em thiết kế mơ “Mơ hình phân loại sản phẩm theo mã vạch barcode” Hình 9: Mơ mơ hình Factory IO 71 | P a g e 4.4 Mô hình thực nghiệm Mơ hình xếp dây gọn gàng ray Hệ thống van xi-lanh khí nén khoan bắt cố định chắn tránh tình trạng rung lắc hoạt động Băng tải hoạt động động tốt Các dây xếp theo vẽ Các relay đóng ngắt tín hiệu ngỡ từ PLC để điều khiển thiết bị Hình 10: Nhận diện mã vạch Barcode Kết cho nhận diện mã vạch có liệu tương ứng, liệu lưu vào data máy tính, nhiều mã vạch nhiều liệu tạo thành big data 71 | P a g e 4.5 Kết quả: Trong phần đề tài “Ứng dụng xử lý ảnh hệ thống phân loại sản phẩm” phần loại sản phẩm theo barcode Dựa ngơn ngữ Python với thư viện OpenCV thực với trung tâm xử lí máy tính PLC Sau q trình nghiên cứu thực đề tài, nhóm rút nhiều vấn đề khác nhau, việc sử dụng phần mềm, phương pháp giải thuật, sử dụng phần cứng Trong đó, gồm vấn đề sau: Đối với phần mềm: Biết cách lập trình Python với thư viện OpenCV, lập trình PLC phần mềm Tia Portal giải thuật liên gian đến đề tài như: phương pháp nhận dạng, phân loại Hình 4.11 Camera quét sản phẩm Kết đạt tốt: Hệ thống nhận dạng phân loại sản phẩm theo barcode ngôn ngữ Python dựa vào thư viên OpenCV Giao tiếp Camera Rasberry Pi3 Giao tiếp PLC với băng tải, cảm biến vật thể, servo, relay, van điện từ xi-lanh khí nén 72 | P a g e 4.6 Lỗi xảy hướng khắc phục: 4.6.1 Lỗi xảy Nguyên nhân điều kiện ánh sáng phức tạp từ led dẫn đến tình trạng đổ bóng vật thể băng chuyền, làm sai lệch màu sắc vật thể màu đen mặt băng chuyền dẫn đến hệ thống nhận diện sai màu sắc khơng thể nhận diện 4.6.2 Các khắc phục Khắc phục tình trạng ta sử dụng phần mềm cung cấp nhà sản xuất Camera để điều chỉnh độ sáng tối độ tương phản Camera nhằm cải thiện chất lượng ảnh đầu vào Cùng với điều chỉnh lại vị trí, cường độ led hắt sáng Tuy nhiên, điều mang tính chất cải thiện khơng thể khắc phục hồn tồn nhược điểm Phương án khắc phục thứ hai sử dụng đến để cải thiện việc nhận diện ta chuyển từ không gian màu RGB sang không gian màu HSV chất khơng gian màu HSV loại bỏ ánh sáng tự nhiên không bị ảnh hưởng chúng 5.5 Nhận xét, đánh giá Sau thời gian tìm hiểu, nghiên cứu phát triển hệ thống “Thiết kế thi công hệ thống phân loại sản phẩm” gặp nhiều khó khăn trở ngại thực cuối nhóm đạt kết khả quan Mơ hình giúp nâng cao hiệu sản xuất, kiểm soát chặt chẽ số lượng chất lượng sản phẩm, tránh sai sót chủ quan (do mệt mỏi, phân loại tính chất tương đối,…) tăng tính tự động hóa thay cho người Tìm hiểu chi tiết xử lí ảnh thông qua phần mềm Python cách giao tiếp hệ thống camera PLC thông qua giao thức truyền thông relay-module 73 | P a g e CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận 5.1.1 Ưu điểm Sau tổng hợp kết đạt đem so sánh với yêu cầu mục tiêu thiết kế cho thấy hệ thống đáp ứng tương đối đầy đủ với xác cao Mơ hình phần mềm hoạt động tốt, thiết bị nhỏ gọn, lắp đặt dễ dàng, có tính kinh tế, thuận tiên cho việc học tập phát triển thành dây chuyền sản xuất Nhận diện gần xác barcode bị ảnh hương nhiễu sử dụng thêm led sáng nhằm cố định mức sáng thử nhiều lần tìm ngưỡng phù hợp Với việc cố định ánh sáng từ led (không bị ảnh hưởng nhân tố ánh sáng bên ngồi mơi trường) việc xử lí ảnh bị sai số dẫn đến tình trạng nhân diện sai lệch, phân loại sai lane quy định 5.1.2 Nhược điểm Với việc sử dụng led hắt sáng gây tình trạng đổ bóng vật thể, hệ thống không hoạt động có nguồn sáng bên ngồi mạnh led ảnh hưởng đến hệ thống Tốc độ hoạt động hệ thống chưa cao băng tải khơng thể hoạt động đồng thời với cấu van điện từ khí nén xi lanh Do băng tải phải dừng lại để camera thu thập liệu phải dừng lại hệ thống van xi-lanh hoạt động phân loại Hệ thống đọc mã barcode chưa thực phân loại dựa vào lane Vì để phân loại barcode với logo với số lượng cần tới tổ hợp trường hợp sản phẩm, quy mô hệ thống không đáp ứng đủ 73 | P a g e 5.2 Hướng phát triển Từ mặt hạn chế đề tài, đề tài hoạt động tốt áp dụng vào thực tế sau nhóm đề hướng phát triển sau: Làm thành dây chuyền sản xuất với cấu hình mạnh hơn, cải tiến thêm chức phân loại sản phẩm dựa vào barcode, tìm hiểu phát triển thêm chức vận hành giám sát từ xa Cải thiện giải thuật để khơng nhận dạng logo mà cịn nhận dạng nhiều logo khác nhau, phân biệt số lượng sản phẩm với kích thước khác nhau, … Thay sử dụng cấu van điện từ khí nén xilanh, sử dụng robot Dobot Magician để gắp thả vật thể hệ thống, robot công nghiệp Dobot M nhằm cải thiện tốc độ hoạt động nâng cao độ xác cho hệ thống Hình 1: Robot Magician 74 | P a g e TÀI LIỆU THAM KHẢO [1] TS Nguyễn Thanh Hải (2014), “Giáo trình Xử lý ảnh’’, Nhà xuất Đại học Quốc gia Thành phố Hồ Chí Minh [2] Phạm Trần Lam Hải, Trần Thanh Hùng, Nguyễn Văn Khanh, Lưu Trọng Hiếu (2015), “Ứng dụng xử lý ảnh số việc phân loại sản phẩm”, Tạp chí Khoa học Trường Đại học Cần Thơ [3] Nguyễn Văn Long (2016), “Ứng dụng Xử lý ảnh thực tế với thự viện OpenCV” [4] Võ Đức Khánh, Hoàng Văn Kiếm (2008), “Giáo trình xử lý ảnh số”, Nhà xuất Đại học Quốc gia Thành phố Hồ Chí Minh [5] Nguyễn Tiến Phúc (2017), “Xử lý ảnh phân loại sản phẩm theo màu sắc”, Bài báo nghiên cứu khoa học Trường Đại học Sao Đỏ [6] Nguyễn Quang Hoan (2006), “Xử lý ảnh”, Lưu hành nội Học viện cơng nghệ bưu viễn thơng [7] Krutika Bapat (2019), “Hough Transform with OpenCV” LearnOpenCV.com [8] Gonzalez, RC and Woods, RE (2008), “Digital Image Processing”, Pearson Prentice Hall, Upper Saddle River [9] Bhabatosh Chanda, Dwijesh Dutta Maumder (2001), “Digital Image Processing and Analysis”, Prenttice Hall of India [10] Willhelm Burger and Mark J Burge (2009), “Principles of Digital Image Processing”, Fundamental Techniques, Sprigner 75 | P a g e PHỤ LỤC  PLC Tag  Chương trình PLC 76 | P a g e 77 | P a g e 78 | P a g e  Chương trình kết nối Tia Portal với Factory IO 79 | P a g e  Chương trình OpenCV: import cv2 import numpy as np from pyzbar.pyzbar import decode cap = cv2.VideoCapture(1) cap.set(3,640) cap.set(4,480) with open('myDataFile.text') as f: myDataList = f.read().splitlines() while True: success, img = cap.read() for barcode in decode(img): myData = barcode.data.decode('utf-8') print(myData) if myData in myDataList: myOutput = 'Authorized' myColor = (0,255,0) else: myOutput = 'Un-Authorized' myColor = (0, 0, 255) 80 | P a g e pts = np.array([barcode.polygon],np.int32) pts = pts.reshape((-1,1,2)) cv2.polylines(img,[pts],True,myColor,5) pts2 = barcode.rect cv2.putText(img,myOutput,(pts2[0],pts2[1]),cv2.FONT_HERSHEY_SIMPLEX, 0.9,myColor,2) cv2.imshow('Result',img) cv2.waitKey(1) 81 | P a g e ... màu sắc Hình 5: Hình ảnh phân loại trứng cà chua theo kích thước Hình 6: Hình ảnh phân loại hàng loại mã vạch QR Hình 1: Phân loại sản phẩm theo Barcode 12 Hình 2: Phân loại táo... hệ thống phân loại sản phẩm tốc độ cao đời dần thay người Một số hệ thống phân loại sản phẩm sử dụng là: phân loại sản phẩm dựa màu sắc, phân loại sản phẩm dựa chiều cao, phân loại sản phẩm dựa... quét mã vạch, phân loại sản phẩm dựa xử lý ảnh… 2.1.1 Các phương pháp phân loại sản phẩm Với việc xử dụng cảm biến màu sắc, cảm biến quang, máy quét mã vạch barcode vào hệ thống phân loại sản phẩm