ĐÂY LÀ BÀI BÁO CÁO ĐỒ ÁN VỀ ĐỀ TÀI THIẾT KẾ CHẾ TẠO MÔ HÌNH LOẠI BỎ SẢN PHẨM LỖI TRÊN BĂNG TRUYỀN DÙNG ARDUINO R3 KẾT HỢP CẢM BIẾN VỚI CÔNG NGHỆ XỬ LÝ ẢNH, ĐÂY LÀ FILE DOC.X NÊN DỄ DÀNG SỬA CHỮA HAY THAY ĐỔI, MỜI BẠN ĐỌC THAM KHẢO THÊM
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NÔNG LÂM THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP THIẾT KẾ, CHẾ TẠO MƠ HÌNH PHÁT HIỆN VÀ LOẠI BỎ SẢN PHẨM LỖI TRÊN BĂNG CHUYỀN Họ tên sinh viên: NGUYỄN PHÚC Chuyên Ngành: CƠ ĐIỆN TỬ Niên khóa: 2015-2019 Tháng 06 năm 2019 THIẾT KẾ, CHẾ TẠO MƠ HÌNH PHÁT HIỆN VÀ LOẠI BỎ SẢN PHẨM LỖI TRÊN BĂNG CHUYỀN Tác giả Khóa luận tốt nghiệp đệ trình đáp ứng yêu cầu cấp Kỹ sư ngành Cơ Điện Tử Giáo viên hướng dẫn: Th.S Tháng 06 năm 2019 LỜI CẢM ƠN Em xin trân trọng cảm ơn tất quý thầy cô trường Đại học Nơng Lâm TP.Hồ Chí Minh q chầy khoa Cơ Khí - Cơng Nghệ trang bị cho em kiến thức quý báu giúp đỡ em suốt trình học tập trường Em xin chân thành cảm ơn thầy cô môn Cơ Điện Tử giúp đỡ chúng em nhiệt tình thời gian thực đề tài Em xin bày tỏ biết ơn chân thành Trần Thị Kim Ngà tận tình hướng dẫn em suốt trình làm Luận văn tốt nghiệp Đặc biệt, em xin cảm ơn quý thầy cô hội đồng dành thời gian nhận xét góp ý để luận văn em hồn thiện Cuối cùng, em xin gửi lời cảm ơn đến người thân bạn bè động viên, ủng hộ tạo cho em điều kiện thuận lợi suốt q trình hồn thành luận văn TPHCM, ngày tháng 06 năm 2019 Sinh viên thực NGUYỄN NHỰT HÀO MAI TUẤN CƯỜNG TÓM TẮT Đề tài nghiên cứu “ Thiết kế, chế tạo mơ hình phát loại bỏ sản phẩm lỗi băng chuyền ” thực trường Đại Học Nông Lâm Thành Phố Hồ Chí Minh, thời gian từ tháng đến tháng năm 2019 Đề tài thiết kế chế tạo mơ hình phát loại bỏ sản phẩm lỗi, khơng u cầu hình dáng màu sắc bên ngồi, sử dụng ngơn ngữ lập trình python xây dựng chương trình xử lý ảnh trích xuất đại lượng đặc trưng hình dáng, màu sắc kích thước sản phẩm, kết hợp chương trình xử lý ảnh chương trình điều khiển phận phân loại mơ hình Thiết kế mạch điều khiển động lực để vận hành mơ hình Đề tài sử dụng máy tính nhúng Raspberry Pi3 làm xử lý trung tâm đáp ứng tốc độ xử lý cho trình phân loại, kết hợp với lập trình xử lý ảnh để nhận dạng tách đối tượng tính kích thước Sau đó, kết hợp với hệ thống động cơ, cảm biến để phân loại loại riêng biệt Đây xem kết đề tài Do thời gian thực hạn chế, mức độ rộng lớn đề tài, nên dù cố gắng phương án giải toán chúng em chắn tránh khỏi thiếu sót Chúng em mong nhận đóng góp ý kiến q thầy bạn bè để đề tài em hoàn thiện MỤC LỤC LỜI CẢM ƠN iii TÓM TẮT iv MỤC LỤC v DANH SÁCH CHỮ TẮT viii DANH SÁCH CÁC BẢNG x DANH SÁCH CÁC HÌNH .xi Chương MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Phạm vi thực đề tài 1.4 Nội dung thực Chương TỔNG QUAN 2.1 Một số khái niệm xử lý ảnh 2.1.1 Ảnh 2.1.1.1 Ảnh nhị phân 2.1.1.2 Ảnh xám .3 2.1.1.3 Ảnh màu 2.1.4.4 Độ phân giải .4 2.2 Không gian màu 2.3 Giới thiệu máy tính nhúng Raspberry Pi3 11 2.4 Các thiết bị ngoại vi khác sơ đồ kết nối 12 2.4.1 Camera Pi 12 2.4.2 Điều chế độ rộng xung PWM 13 2.4.3 Cảm biến quang 14 2.4.4 Động Servo 16 2.5 Phần mền lập trình python, Opencv ứng dụng xử lý ảnh 17 2.5.1 Phần mềm lập trình python: 17 2.5.2 Thư viện xử lý ảnh OpenCV .18 2.5.3 Các ứng dụng OpenCV .19 2.6 Tình hình nghiên cứu nước 19 Chương 24 VẬT LIỆU VÀ PHƯƠNG PHÁP NGHIÊN CỨU 24 3.1 Thời gian thực đề tài 24 3.2 Đối tượng thiết bị nghiên cứu 24 3.3 Thiết bị nghiên cứu 25 3.3.1 Máy tính nhúng Raspberry Pi 25 3.3.2 Module Camera Pi 25 3.4 Các phần mềm sử dụng .26 3.5 Phương pháp nghiên cứu 26 Chương 27 KẾT QUẢ VÀ THẢO LUẬN 27 4.1 Thiết kế mơ hình ngun lý hoạt động 27 4.1.1 Thiết kế mơ hình .27 4.1.2 Ngun lý hoạt động mơ hình .28 4.2 Thiết kế phần khí 28 4.2.1 Bản vẽ khí mơ hình 28 4.3 Thiết kế khối xử lý điều khiển 36 4.3.1 Sơ đồ khối 36 4.4 Xử lý ảnh, nhận dạng phân loại 37 4.4.1 Sơ đồ khối bước xử lý ảnh 37 4.4.2 Giải thuật phân loại sản phẩm theo màu sắc, kích thước biên dạng 44 4.4.3 Giải thích trình hoạt động hệ thống 45 4.5 Khảo nghiệm thực tế kết 45 Chương 46 KẾT LUẬN VÀ ĐỀ NGHỊ 46 5.1 Kết đạt 46 5.2 Hướng phát triển đề tài 46 TÀI LIỆU THAM KHẢO …… 48 PHỤ LỤC 49 DANH SÁCH CHỮ TẮT CGA .(Color Graphic Adaptor) MP4 (Moving Picture ) IMG (Image) RGB (Red Green Blue) HSV (Hue Saturation Value) HLS .(Hue Lightness Saturation CMYK (Cyan Magenta Yellow Key) CIE (Commission Internationale d’Eclairage) RAM .(Random Access Memory) CPU ARM (Central Processing Unit Advanced RISC Machine) LAN (Local Area Network) LPDDR2 memory .(Low-power Double Data Rate 2) GNU/ linux (GNU is Not Unix) USB (Universal Serial Bus) HDMI (High-Definition Multimedia Interface) RCA (Radio Corporation of America) GPIO pins .(General-purpose input/output) DSI (Display Serial Interface) SD Card (Secure Digital Card) IPS ( Instrument Pointing System) DC .(Direct Current chiều) PAL / NTSC (Phase Alternative Line/ National Television System Committee) HID .(Human Interface Design) GND (Ground) BJT .(Bipolar Junction Transistor) MOSFET (Metal Oxide Semiconductor Field-Effect Transistor) LED (Light Emitting Diode) ASIC ( Application Specific Integrated Circuit) 3D CAD (Computer-aided design) UNIX (Uniplexed Information and Computing System) GUI .(Graphical User Interface) xiii DANH SÁCH HÌNH ẢNH Hình 2.1 Ma trận biểu diển ảnh nhị phân Hình 2.2 Ma trận biểu diễn ảnh xám Hình 2.3 Ma trận biểu diễn mức xám thành phần RED Hình 2.4 Ma trận biểu diễn mức xám thành phần GREEN Hình 2.5 Ma trận biểu diễn mức xám thành phần BLUE .4 Hình 2.6 Hệ trục tọa độ Red Green Blue Hình 2.7 Mơ hình khơng gian màu RBG Hình 2.8 Mơ hình khơng gian màu HSV .7 Hình 2.9 Mơ hình khơng gian màu HSV .7 Hình 2.10 Mơ hình màu HLS Hình 2.11 Mơ hình màu L*a*b Hình 2.12 Biến đổi fourier Hình 2.13 Module Raspberry Pi .11 Hình 2.14 Module Raspberry Pi Camera 12 Hình 2.15 PWM 13 Hình 2.16 Module PWM DC 13 Hình 2.17 Cảm biến quang .14 Hình 2.18 Mạch xử lý tín hiệu 15 Hình 2.19 Động Servo MG996R 16 Khối chuyển ảnh xám Như ta biết cấu tạo ảnh RGB cấu thành từ ba ma trận ảnh: Red, Green, Blue Thực chất, lớp đại diện lớp ảnh xám khác (gray- scale) có tỉ lệ xám khác nhau, tùy tỉ lệ mà chúng tạo nên lớp R,G hay B ảnh màu RGB Trên sở đó, khơng thể xử lý trực tiếp ảnh ảnh RGB mà cần phải chuyển sang xám sở tính tốn suốt trình xử lý Kết sau chuyển sang ảnh xám sau: Hình 4.21 Hình ảnh chuyển ảnh xám Khối chuyển nhị phân theo mức xám Các đối tượng có màu sắc khác với màu tách để xét xem có phải màu đỏ hay khơng Hình 4.22 Chuyển ảnh qua nhị phân Khối Tìm contour để tính diện tích xét biên dạng Hình ảnh lọc tìm biên sản phẩm, sau vẽ đường biên Hình 4.23 Tìm contour sản phẩm Khi số điểm đỉnh khác 4, đối tượng khơng phải hình vng, nên sai biên dạng Hình 4.24 Biên dạng sản phẩm lỗi Khi có vệt màu khác chen vào, đối tượng màu đỏ, nên sai màu sắc Hình 4.25 Sản phẩm lỗi màu sắc Khi đối tượng có đỉnh, nhiên diện tích đối tượng khác so với mẫu, nên sai kích thước Hình 4.26 Sản phẫm sai kích thước 4.4.2 Giải thuật phân loại sản phẩm theo màu sắc, kích thước biên dạng Bắt đầu Sai Kiểm tra cảm biến buồng chụp Đúng Thu nhận ảnh Chuyển sang ảnh xám nhị phân, sau phân tích hình dáng, màu sắc Sai Sản phẩm màu đỏ? Loại A Đúng Sai 49000 < Diện tích < 53000 Loại B Đúng Sai Hình vng hay khơng? Đúng Không sai lệch Sai Cảm biến phận phân loại? Phát lệnh Đúng Phát lệnh điều khiển phân loại Kiểm tra tín hiệu kết thúc? Đúng Kết thúc Sai Loại C 4.4.3 Giải thích q trình hoạt động hệ thống Khi bắt đầu chương trình hệ thống kiểm tra cảm biến buồng chụp ảnh Nếu phát có sản phẩm qua, hệ thống tiến hành thu ảnh gốc RGB Sau đó, chương trình xử lý ảnh sản phẩm tiến hành, tách đối tượng, chuyển sang ảnh xám dùng thuật toán “mặt nạ” chuyển ảnh sang ảnh nhị phân, từ ta tính số điểm ảnh suy xem phải màu đỏ hay khơng Sau tìm contour để tính diện tích sản phẩm từ suy kích thước xét hình dạng đối tượng ảnh dựa số điểm đỉnh để xem hình Tiếp theo, hệ thống so sánh màu sắc, kích thước biên dạng đối tượng ảnh vừa chụp với kích thước mẫu Nếu sản phẩm sai màu sắc so với mẫu, ta gán sản phẩm vừa chụp A Nếu sản phẩm sai kích thước so với mẫu, ta gán sản phẩm vừa chụp B Nếu sản phẩm sai biên dạng so với mẫu, ta gán sản phẩm vừa chụp C Sau đó, cảm biến phận phân loại kiểm tra sản phẩm đến điều khiển phân loại phân loại khây chứa tương ứng Quá trình thực liên tục nhận tín hiệu kết thúc hệ thống dừng 4.5 Khảo nghiệm thực tế kết Các bước tiến hành đo kích thước lấy mẫu chuẩn cho loại: - Bước 1: Phân loại sản phẩm mắt thường loại: loại A, loại B, loại C - Bước 3: Dựa vào mẫu phân loại theo thực tế, ta đưa vào chụp ảnh lấy thuộc tính chúng Bước 4: Gán thuộc tính loại vào chương trình phân loại xử lý ảnh Chương KẾT LUẬN VÀ ĐỀ NGHỊ Quá trình thực kết hợp với lý thuyết sở tìm hiểu được, đề tài đạt số kết sau: 5.1 Kết đạt - Chương trình xây dựng máy tính nhúng Raspberry pi kết nối với camera USB để thu ảnh - Thiết kế, chế tạo băng chuyển cấu gạt loại bỏ sản phẩm khơng u cầu hình dáng màu sắc bên - Xây dựng chương trình xử lý ảnh nhận dạng sản phẩm khơng yêu cầu hình dạng màu sắc bên ngồi - Xây dựng thuật tốn phát loại bỏ sản phẩm lỗi khỏi băng chuyền - Xây dựng mạch điều khiển cho băng chuyền - Khảo nghiệm, đáng giá độ xác ổn định mơ hình 5.2 Hướng phát triển đề tài Chất lượng hình ảnh phụ thuộc nhiều vào độ phân giải camera Trong phạm vi đề tài sử dụng camera có độ phân giải 640x480, chọn camera có độ phân giải cao cho độ xác cao Tuy nhiên với độ phân giải cao địi hỏi hệ thống máy tính có tốc độ cao Ngoài ra, với phương pháp phân loại xử lí ảnh việc phân loại theo màu sắc, kích thước biên dạng tối ưu, xử lí đa dạng sản phẩm ví dụ phân loại theo độ chín trái cây, loại bỏ trái hư hỏng dựa vào màu sắc, phân loại hàng hóa dựa vào mẫu mã hình dáng, tự động nhận dạng vật thể dựa vào hình dáng kích thước…vì tương lai phát triển mơ hình theo hướng phù hợp phát huy hết tối ưu xử lí ảnh Do giới hạn đề tài tốt nghiệp nên dừng lại mơ hình Ta đưa vào ứng dụng thực tế đưa thiết kế, sử dụng thiết bị có độ xử lí độ ổn định cao hơn, thiết kế mạch công suất để điều khiển động có cơng suất lớn Xây dựng hệ thống có quy mơ lớn để đáp ứng suất thay sức lao động người Tài liệu tiếng Việt TÀI LIỆU THAM KHẢO [1] Đỗ Năng Toàn, Phạm Việt Bình (2008), Giáo trình xử lý ảnh – ĐH Thái Nguyên, Nxb Khoa học kỹ thuật, 2008 [2] Lương Mạnh Bá, Nguyễn Thanh Thủy (2003), Nhập Môn Xử lý ảnh số, Nxb Khoa học Kỹ thuật, 2003 [3] Nguyễn Kim Sách (1997), Xử lý ảnh Video số, Nxb Khoa học Kỹ thuật, 1997 Tài liệu tiếng Anh [4] John C.Russ (1995), The Image Procesing Handbook CRC Press, Inc [5] Adrian Low (1991), Introductory Computer Vision and Image Processing, Copyright (c) 1991 by McGrow Hill Book Company (UK) Limited [6] Anil K.Jain (1989), Fundamental of Digital Image Processing Prentice Hall, Engwood cliffs PHỤ LỤC from picamera.array import PiRGBArray from picamera import PiCamera from time import sleep import RPi.GPIO as GPIO import numpy as np import cv2 import time #set chân GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(PinCB1, GPIO.IN, GPIO.PUD_UP) GPIO.setup(PinCB2, GPIO.IN, GPIO.PUD_UP) GPIO.setup(PinCB3, GPIO.IN, GPIO.PUD_UP) GPIO.setup(PinCB4, GPIO.IN, GPIO.PUD_UP) PinCB1 = PinCB2 = PinCB3 = PinCB4 = 10 GPIO.setmode(GPIO.BOARD) GPIO.setup(03, GPIO.OUT) GPIO.setup(04, GPIO.OUT) GPIO.setup(05, GPIO.OUT) pwm=GPIO.PWM(03, 50) pwm=GPIO.PWM(04, 50) pwm=GPIO.PWM(05, 50) pwm.start(0) camera = PiCamera() Capture = PiRGBArray(camera) camera.vflip = True camera.hflip = True camera.brightness=60 time.sleep(0.1) global kiemtra,dem # chup CB phat hien while True: if GPIO.input(PinCB1) == GPIO.LOW: print "Motion detected!" # capture an image from the camera and output to rawCapture camera.capture(rawCapture, format="bgr") img = Capture.array else: print "No motion" time.sleep(0.2) # display the image on screen and wait for a keypress cv2.imshow("Image", image) cv2.keyWait(0) camera.resolution=(6 40, 480) # grab an image from the camera hsv_img=cv2.cvtColor(img,cv2.COLOR_BGR2HSV) min_=np.array([0,170,147]) max_=np.array([179,255,255]) mask=cv2.inRange(hsv_img,min_,max_) anhgai=cv2.bitwise_and(img,img,mask=mask) gray = cv2.cvtColor(anhgai, cv2.COLOR_BGR2GRAY) ret,thresh = cv2.threshold(gray, 80, 250, 0, cv2.THRESH_BINARY_INV) im2,contours, hierarchy = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: cv2.drawContours(img, [cnt], -1, (0,255,0), 2) cnt = contours[0] max1 = cv2.contourArea(contours[0]) max2 = cv2.contourArea(contours[0]) for i in range(0,len(contours)): cnt= contours[i] area = cv2.contourArea(cnt) if area>max1: max1=area j=i if area 35000: print ("Area = ", max1) print ("san pham sai kich thuoc") if GPIO.input(PinCB3) == GPIO.LOW: def SetAngle(angle): duty = angle / 18 + GPIO.output(03, True) pwm.ChangeDutyCycle(duty) sleep(1) GPIO.output(03, False) pwm.ChangeDutyCycle(0) SetAngle(90) pwm.stop() GPIO.cleanup() elif max2 < 10000 and max2 >= 0: print ("san pham sai mau sac") if GPIO.input(PinCB3) == GPIO.LOW: def SetAngle(angle): duty = angle / 18 + GPIO.output(03, True) pwm.ChangeDutyCycle(duty) sleep(1) GPIO.output(03, False) pwm.ChangeDutyCycle(0) SetAngle(90) pwm.stop() GPIO.cleanup() else: print ("san pham dung") print ("Area = ", max1) print ("Hinh vuong") print ("Mau do") ## Show the image cv2.imshow('image',img) ## Close and exit cv2.waitKey(0) cv2.destroyAllWindows() ... năm 2019 THIẾT KẾ, CHẾ TẠO MƠ HÌNH PHÁT HIỆN VÀ LOẠI BỎ SẢN PHẨM LỖI TRÊN BĂNG CHUYỀN Tác giả Khóa luận tốt nghiệp đệ trình đáp ứng yêu cầu cấp Kỹ sư ngành Cơ Điện Tử Giáo viên hướng dẫn: Th.S... Thị Kim Ngà tận tình hướng dẫn em suốt trình làm Luận văn tốt nghiệp Đặc biệt, em xin cảm ơn quý thầy cô hội đồng dành thời gian nhận xét góp ý để luận văn em hoàn thiện Cuối cùng, em xin gửi lời... hình tuần Xây dựng chương trình xử lý ảnh tuần Thiết kế mạch động lực mạch điều khiển tuần Viết báo cáo thực mơ khảo nghiệm mơ hình thực tế tuần Tổng thời gian thực 15 tuần Bảng 3.1 Thời gian biểu