ỨNG DỤNG sử lý ẢNH TRONG hệ THỐNG PHÂN LOẠI sản PHẨM

TÊN ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG HỆ THỐNG PHÂN LOẠI SẢN PHẨM TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA CƠ KHÍ ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH: CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG HỆ THỐNG PHÂN LOẠI SẢN PHẨM Người hướng dẫn: ThS Nguyễn Thị Thanh Vi Sinh viên thực hiện: Phan Thanh May Đỗ Hoàng Anh Nguyễn Hùng Vĩ Mã sinh viên Lớp :1811504410234 1811504410202 1811504410164 :18CDT2 18CDT2 18CDT1 Đà Nẵng, 05/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA CƠ KHÍ ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH: CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG HỆ THỐNG PHÂN LOẠI SẢN PHẨM Người hướng dẫn: ThS Nguyễn Thị Thanh Vi Sinh viên thực hiện: Phan Thanh May Đỗ Hoàng Anh Nguyễn Hùng Vĩ Mã sinh viên :1811504410234 1811504410202 1811504410164 Lớp :18CDT2 18CDT2 18CDT1 Đà Nẵng, 05/2022 NHẬN XÉT CỦA NGƯỜI HƯỚNG DẨN NHẬN XÉT CỦA NGƯỜI PHẢN BIỆN TÓM TẮT Tên đề tài: ỨNG DỤNG SỬ LÝ ẢNH TRONG HỆ THỐNG PHÂN LOẠI SẢN PHẨM Sinh viên thực hiện: Đỗ Hoàng Anh Lớp: Mã SV: 1811504410202 Nguyễn Hùng Vĩ 1811504410164 Phan Thanh May 1811504410234 18CĐT2 18CĐT1 18CĐT2 Ngày hệ thống tự động ngày phổ biến công nghiệp Đồ án “Ứng dụng xử lý ảnh hệ thống phân loại sản phẩm ” giúp phần hiểu dây chuyền sản xuất công nghiệp, cách giám sát hoạt động, đồng thời củng cố thêm kiến thức chuyên ngành áp dụng kiến thức học vào thực tế để tự thiết kế, lựa chọn thiết bị cho hệ thống “Nghiên cứu, thiết kế chế tạo mơ hình ứng dụng xử lý ảnh hệ thống phân loại sản phẩm” đề tài mà nhóm chúng em thực dựa kit Raspberry kit Arduino Uno R3 kết nối với viết dựa vào ngơn ngữ Python thư viện OpenCV Ở nhóm chúng em dựa vào đặc điểm màu sắc sản phẩm để phân loại sản phẩm LỜI CẢM ƠN Trong năm tháng học tập trường, chúng em thầy cô trường tận tình bảo truyền đạt kiến thức chuyên mơn kiến thức thầy tích lũy từ thực tế khơng có sách anh chị khóa giúp đỡ chúng em q trình học tập trường ngồi đời sống Em xin chân thành gửi lời cảm ơn đến thầy cô anh chị giúp đỡ chúng em trình học tập trình thực đồ án Nhóm chúng em đặt biệt gửi lời cảm ơn chân thành đến cô Nguyễn Thị Thanh Vi, giúp đỡ chúng em tận tình trình chọn đề tài, q trình thi cơng đồ án, có góp ý hữu ích cho nhóm chúng em chúng em gặp khó khăn Cảm ơn ln bên chúng em để hồn thành đồ án Trong trình thực đồ án chúng em cịn gặp nhiều sai sót chúng em mong nhận đánh giá, nhận xét, đóng góp ý kiến thầy giáo để chúng em hoàn thành đồ án cách hoàn thiện Lời cuối, chúng em xin gửi lời chúc sức khỏe đến thầy cô Trường Đại Học Sư Phạm Kỹ Thuật, Đại Học Đà Nẵng đặc biệt thầy khoa khí Chúng em xin chân thành cảm ơn Sinh viên thực Anh Đỗ Hoàng Anh Sinh viên thực Vĩ Nguyễn Hùng Vĩ Sinh viên thực viên May Phan Thanh May LỜI NĨI ĐẦU Trong tiến trình cơng nghiệp hóa- đại hóa đất nước, nghành Cơng nghệ kỹ thuật Cơ điện tử phần tất yếu thiếu, có vai trị quan trọng việc thúc đẩy phát triển ngành Công nghệ khác Việc ngày có nhiều nhà máy, xí nghiệp lên kèm với cơng nghiệp hóahiện đại hóa khơng thể thiếu ứng dụng xử lý công việc độc hại thay sức lao động người đồ án tốt nghiệp “Ứng dụng xử lý ảnh hệ thống phân loại sản phẩm” chúng em muốn hướng tới, tìm hiểu thực Sau thời gian dài học tập trường, bảo hướng dẫn nhiệt tình Ths Nguyễn Thị Thanh Vi thầy cô nghành công nghệ kỹ thuật Cơ điện tử, giúp chúng em tích lũy vốn kiến thức định Thông qua đồ án tốt nghiệp, chúng em hy vọng hệ thống lại tồn kiến thức học học hỏi thêm phương thức xử lý ảnh Do khả thời gian hạn chế, nên đồ án tốt nghiệp tránh khỏi sai sót Em mong nhận dạy góp ý Ths, Nguyễn Thị Thanh Vi thầy cô nghành Cơ điện tử để hoàn thành tốt đồ án tốt nghiệp Cuối cùng, chúng em xin cảm ơn thầy cô trường Đại học Sư Phạm Kỹ Thuật- Đại Học Đà Nẵng tận tình giảng dạy, truyền đạt kiến thức quý giá cho chúng em bạn sinh viên khác suốt năm qua Đặt biệt, đồ án tốt nghiệp hồn thành khơng có tận tình hướng dẫn Cô Ths Nguyễn Thị Thanh Vi LỜI CAM ĐOAN Chúng em xin cam đoan số liệu kết nghiên cứu luận văn trung thực chưa sử dụng để bảo vệ học vị Mọi giúp đỡ cho việc thực hiên luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc phép công bố Đà Nẵng, ngày 27 tháng 05 năm 2022 Sinh viên thực Anh Đỗ Hoàng Anh Vĩ May Nguyễn Hùng Vĩ Phan Thanh May Mục lục NHẬN XÉT CỦA NGƯỜI HƯỚNG DẨN iii NHẬN XÉT CỦA NGƯỜI PHẢN BIỆN iv CHƯƠNG 1: TỔNG QUAN 1.1 Đặt Vấn Đề 1.2 Mục Tiêu 1.3 Mục tiêu nội dung cụ thể CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan xử lý ảnh 2.1.1 Giới thiệu xử lý ảnh 2.1.2 Những vấn đề xử lý ảnh 2.2 Giới thiệu ngôn ngữ Python thư viện openCV 2.2.1 Ngôn ngữ Python 2.2.2 Thư viên openCV 10 2.3 Phân tích xác định màu sắc 11 2.3.1 Hệ màu 11 2.3.2 Xác định HSV để phân loại 15 2.4 Giới thiệu linh kiện 17 2.4.1 Arduino Uno R3 18 2.4.2 Raspberry Pi 25 2.4.3 Cảm biến hồng ngoại E18-D80NK 28 2.4.4 Động servo mg955 30 2.4.5 Động giảm tốc JGB37-520-107RPM 32 2.4.6 Camera Pi V1.3 33 2.4.7 Băng tải 35 2.4.8 Led LCD 16x2 36 CHƯƠNG 3: TÍNH TỐN THIẾT KẾ 39 3.1 Lưu đồ thuật toán 39 3.2 Sơ đồ khối hệ thống 42 3.3 Sơ đồ nối dây thiêt bị hệ thống 43 3.3.1 Khối nguồn 43 3.3.2 Khối cảm biến 45 3.3.3 Khối camera 46 3.3.4 Khối xử lý 47 3.3.5 Khối động 48 3.3.6 Khối hiển thị 49 CHƯƠNG 4: 4.1 Mơ hình sản phẩm 3D creo 52 4.1.1 Giới thiệu creo 52 4.1.2 Mơ hình 3d 52 4.2 4.3 LẮP RÁP VÀ THI CÔNG HỆ THỐNG 52 Lắp ráp mơ hình 53 4.2.1 Băng tải 53 4.2.2 Lắp ráp kết nối Arduino vs Raspberry 53 Cài chương trình lập trình 54 CHƯƠNG 5: TỔNG KẾT VÀ KẾT LUẬN 61 5.1 Tổng kết 61 5.2 Kết luận 62 Hình 12 Cài Python Arduino Raspberry Pi Hướng dẫn sử dụng thao tác Có cách để Rapberry Pi hoạt động: tự động thủ cơng Ở nhóm thực thao tác tự động ta cần cấp nguồn cho Rapberry Pi tự hoạt động mà ta khơng cần thao tác khác Để sử dụng Raspberry Pi tự động ta cần thực bước sau: Bước 1: Ta truy cập vào Terminal Rapberry Pi tiến hành gõ dòng lệnh: “sudo nano /etc/rc.local” Enter Bước 2: Nhập đường dẫn file cần chạy khởi động  Tại mục Fi ta gõ cấu trúc lệnh: python “đường dẫn file cần chạy” &  Nhấn tổ hợp phím Ctrl+X để lưu thay đổi * Hướng dẫn sử dụng phần cứng Sau cấp nguồn, ta tiến hành bật công tắc nút nguồn (nút màu đỏ) đợi khoảng phút để Raspberry Pi khởi động hoàn tất, hệ thống tiến hành phân loại 59 SVTH: Đỗ Hoàng Anh Nguyễn Hùng Vĩ Phan Thanh May GVHD: Nguyễn Thị Thanh Vi Nếu thời gian phân loại ta muốn thiết lập lại giá trị ban đầu cách ta tiến hành nhấn nhả nút Reset (nút màu xanh) *Lưu ý sử dụng:  Để sản phẩm xa tầm tay trẻ em  Đặt sản phẩm nơi phẳng, khơ ráo, thống mát tránh tiếp xúc trực tiếp với ánh nắng  Không để sản phẩm chịu tác động ngoại lực va chạm mạnh, rơi rớt  Cấp nguồn 220VAC đảm bảo nguồn điện ổn định để hệ thống hoạt động ổn định *Khắc phục cố:  Sản phẩm không hoạt động: Kiểm tra nguồn điện cấp 220VAC, kiểm tra dây cắm,  Sản phẩm bị vỡ, bị hư hỏng đảm bảo nguồn điện mà không hoạt động, cần hỗ trợ kỹ thuật viên, tuyệt đối không tự ý tháo mở, thay linh kiện bên hộp điều khiển 60 SVTH: Đỗ Hoàng Anh Nguyễn Hùng Vĩ Phan Thanh May GVHD: Nguyễn Thị Thanh Vi CHƯƠNG 5: 5.1 Tổng kết TỔNG KẾT VÀ KẾT LUẬN Sau trình nghiên cứu tìm hiểu tham khảo tài liệu liên quan , hướng dẩn nhiệt tình từ giáo viên hướng dẫn cô Nguyễn Thị Thanh Vi dựa ngơn ngữ Python với thư viện OpenCV thực Kit Raspberry Arduino Uno nhóm chế tạo thành cơng mơ hình “Ứng dụng xử lý ảnh hệ thống phân loại sản phẩm” Sau trình nghiên cứu tinh chỉnh mơ hình hoạt động tương đối xác đảm bảo yêu cầu đề tài đặt Trong q trình thực nhóm gặp số khó khăn như:  Kiến thức lập trình cịn hạn hẹp  Lần đầu tiếp xúc với Raspberry Arduino nên chưa nắm rõ thứ  Việc cài đặt số chương trình cịn khó khăn  Lần đầu làm đồ án lớn nên việc phân chia công việc thành viên chưa tốt Q trình thực đề tải, nhóm biết sử dụng Rasberry chức máy tính nhúng, việc tạo file mới, tìm hiều Python Raspberry, chạy chương trình Python Ngồi nhóm cịn tự cài đặt hệ điều hảnh cho máy kết nối với Camera Pï chụp ảnh từ Raspberry Sau qua thời gian tìm hiểu phương pháp nhận dạng, phân loại sản phẩm nhóm phân loại thành cơng ba màu (đỏ, xanh, vàng), không thuộc ba màu kể sản phẩm xem sản phẩm khác, với đếm sản phẩm theo màu hiển thị giao diện lcd Kết q trình nhóm đạt như:  Hoàn thành đồ án mục tiêu đặt  Làm quen với Raspberry, Arduino 61 SVTH: Đỗ Hoàng Anh Nguyễn Hùng Vĩ Phan Thanh May GVHD: Nguyễn Thị Thanh Vi  Được tiếp xúc, sử dụng với linh kiện điện tử cảm biến hồng ngoại, camera, động servo…  Tiếp xúc sử dụng ngơn ngữ lập trình Python thư viện OpenCV  Raspberry Pi model B+ hoàn toàn thích hợp cho dự án vừa nhỏ kích cỡ khơng q lớn nhiên, Raspberry Pi model B+ hạn chế hệ thống lớn  Arduino Uno R3 đa dùng nhiều công phù hợp với sinh viên làm đồ án dể lập trình dể kết nối, giá thành lại rẻ  Module Camera Pi, có độ phân giải khơng cao ngược lại có giá thành rẻ, khả kết nối linh hoạt với chất lượng ảnh phù hợp với việc xử lý ảnh  Sau nhiều lần chạy thực nghiệm, mơ hình hệ thống thiết kế xây dựng hoạt động tương đối ổn định: cảm biến đọc tương đối nhanh, thời gian từ chụp ảnh đưa sai số trung bình nhỏ 5% 5.2 Kết luận Tổng hợp kết đạt so sánh với yêu cầu giảng viên mục tiêu thiết kế, hệ thống hoàn thiện xác Mơ hình phần cứng hoạt động tốt, thiết bị nhỏ gọn, lắp đặt thuận tiện, tiết kiệm, nhận biết tốt hầu hết màu đầu sản phẩm, với chất lượng sản phẩm Bên cạnh kết đạt Hệ thống hạn chế sau:  Tốc độ  Quá trình xử lý cịn tương đối chậm Hệ thống chụp ảnh khơng có đủ ánh sáng tốt phân loại sản phẩm theo màu sắc, không phát sản phẩm bị lỗi 62 SVTH: Đỗ Hoàng Anh Nguyễn Hùng Vĩ Phan Thanh May GVHD: Nguyễn Thị Thanh Vi Phần tài liệu tham khảo [1] PGS.TS Đỗ Năng Tồn, TS Phạm Việt Bình, “Giáo trình Xử Lý Ảnh”, Đại học Thái Nguyên, 2007 [2] Sách Mastering OpenCV with Python [3] Sơ lược cảm biế hồng ngoại E18-D80NK, Datasheet [4] Sơ lược động DC – Khái niệm ,phân loại điều khiển tốc độ http://motor2hand.com/, 2017 [5] Ứng dụng nguyên lí hoạt động Servo, https://www.vincss.org/, 2018 [6] Động servo MG996, Datasheet [7] Cấu tạo, phân loại , ứng dụng băng tải, TÍNH TỐN THIẾT kế BĂNG tải (123docz.net) [8] Sơ lược Raspberry Pi3, https://dientuviet.com/gioi-thieu-ve-raspberry-pi-3/ [9] Tài liệu Aduino r3, http://arduino.vn/bai-viet/42-arduino-uno-r3 [10] Opencv-Python , https://docs.opencv.org/, 2018 [11] Opencv xử lí màu chuyển hệ màu , https://viblo.asia/, 2019 [12] Opencv xử lí ảnh chuyển hệ màu , https://techblog.vn/ 63 SVTH: Đỗ Hoàng Anh Nguyễn Hùng Vĩ Phan Thanh May GVHD: Nguyễn Thị Thanh Vi Code # Raspberry // khai báo thư viện import cv2 import numpy as np import time import serial cap=cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH,960) cap.set(cv2.CAP_PROP_FRAME_HEIGHT,600) ser=serial.Serial( port="/dev/ttyUSB0", baudrate=9600, parity=serial.PARITY_NONE, stopbits=serial.STOPBITS_ONE, bytesize=serial.EIGHTBITS, timeout=1 ) while True: _, frame=cap.read() height , width,_ = frame.shape cx = int(width/4) 64 SVTH: Đỗ Hoàng Anh Nguyễn Hùng Vĩ Phan Thanh May GVHD: Nguyễn Thị Thanh Vi cy = int(height/2) cv2.circle(frame,(cx,cy),150,(0,0,255),1) pixel_centerd = frame[cy,cx] min_mau_r = np.array([40,50,150])#red max_mau_r = np.array([100,100,250]) min_mau_y = np.array([0,160,140])#yellow max_mau_y = np.array([50,240,220]) min_mau_b = np.array([130,130,0])#blue max_mau_b = np.array([200,200,50]) min_mau_g = np.array([0,70,0])#green max_mau_g = np.array([50,110,10]) rgb_valued = pixel_centerd print(rgb_valued) if((min_mau_y[0]