BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CƠ HỌC KỸ THUẬT TỰ ĐỘNG HÓA BÁO CÁO BÀI TẬP LỚN Chuyên ngành Công nghệ kỹ thuật Cơ điện tử ỨNG DỤNG XỬ LÝ ẢNH VÀO HỆ THỐNG KIỂM TRA LỖI SẢN PHẨM T.BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CƠ HỌC KỸ THUẬT TỰ ĐỘNG HÓA BÁO CÁO BÀI TẬP LỚN Chuyên ngành Công nghệ kỹ thuật Cơ điện tử ỨNG DỤNG XỬ LÝ ẢNH VÀO HỆ THỐNG KIỂM TRA LỖI SẢN PHẨM T.BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CƠ HỌC KỸ THUẬT TỰ ĐỘNG HÓA BÁO CÁO BÀI TẬP LỚN Chuyên ngành Công nghệ kỹ thuật Cơ điện tử ỨNG DỤNG XỬ LÝ ẢNH VÀO HỆ THỐNG KIỂM TRA LỖI SẢN PHẨM T.v
BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CƠ HỌC KỸ THUẬT & TỰ ĐỘNG HÓA BÁO CÁO BÀI TẬP LỚN Chuyên ngành: Công nghệ kỹ thuật Cơ điện tử ỨNG DỤNG XỬ LÝ ẢNH VÀO HỆ THỐNG KIỂM TRA LỖI SẢN PHẨM TRÊN DÂY CHUYỀN SẢN XUẤT (BÁNH QUY) Giảng viên hướng dẫn: PGS.TS Phạm Mạnh Thắng Sinh viên thực hiện: Trần Thế Sơn - 19021104 Phạm Minh Tiến - 19021120 Lớp: K64-M-CLC1 Hà Nội, tháng 11 năm 2022 Mục lục S Lời cảm ơn Lời mở đầu Phần 1: Tổng quan đề tài Đề toán sau Sơ đồ hệ thống Tóm tắt thuật toán cho toán kiểm tra lỗi sản phẩm Phần Thiết kế chương trình Xây dựng phần cứng 1.1 Vi điều khiển STM32 Cấu hình chi tiết STM32: 1.2 Module Camera 1.3 Động servo SG90 làm cần gạt 1.4 Băng chuyền tự chế 1.5 Bộ xử lý trung tâm (máy tính cá nhân) Xây dựng phần mềm 10 2.1 Xử lý hình ảnh với Open Cv 11 2.2 Tìm hình chữ nhật chứa đáp án, mã đề số báo danh 12 2.3 Tiến hành kiểm tra màu 14 2.4 Kiểm tra vết nứt 21 2.5 Hàm kiểm tra bánh đạt chuẩn hay chưa 22 Kết đạt 26 Một số vấn đề khó khăn gặp phải 26 Phần Phát triển ý tưởng với toán 27 Làm việc vơi file Excel 27 Gửi mail thông báo cho sinh viên kết 27 Xây dựng giao diện python 28 Lời cảm ơn Cảm ơn thầy Phạm Mạnh Thắng nhiệt tình giảng dạy, bảo khuyết điểm sai sót giúp đỡ bọn em nhiều q trình học tập Em vốn khơng phải học sinh xuất sắc chăm chỉ, sau lớp anh em cảm thấy kỹ lập trình cải thiện nhiều học hỏi nhiều thứ Lời mở đầu Hiện nay, ngành sản xuất, việc phát lỗi sản phẩm loại trừ cấp thiết Đây vấn đề thương hiệu nghành sản xuất Chỉ lỗi nhỏ sản phẩm ảnh hưởng lớn đến uy tín doanh nghiệp Với ý tưởng trên, chúng em xây dựng hệ thống phát lỗi sản phẩm dựa tiêu chí kích thước, màu sắc, tình trạng bánh (nứt vỡ, sứt mẻ, khơng cịn ngun vẹn), hay có vết mốc bánh Bọn em xây dựng hệ thống ngôn ngữ lập trình python với trợ giúp thư viện Open CV thư viện Numpy, thư viện tkinter giúp xây dựng ứng dụng kiểm tra lỗi sản phẩm Phần 1: Tổng quan đề tài Đề tốn sau Chúng ta có hệ thống dây chuyền đưa bánh quy đến lô để đóng gói, dây chuyền có bánh quy đạt yêu cầu chất lượng bên cạnh có số bánh quy bị lỗi quy trình sản xuất, nhiệm vụ tốn phát bánh quy đó, đưa cảnh báo xử lý xử lý đưa tín hiệu đến cánh tay robot loại bỏ chúng Chiếc đạt yêu cầu chất lượng: Ví dụ số bánh quy bị hỏng: Hình Các bánh không đạt chất lượng bị nứt vỡ, bị mốc, sai màu sắc, kích thước Sơ đồ hệ thống Tóm tắt thuật tốn cho toán kiểm tra lỗi sản phẩm Các bước làm sau: Bước 1: Ta tiến hành dừng băng chuyền bánh đến chỗ camera, tiến hành kiểm tra bánh Bước 2: Dùng xử lý ảnh kiểm tra xem bánh có bị lỗi khơng ( màu sắc, kích thước, tình trạng vỡ, mốc) Bước 3: Bánh vỡ máy tính báo gửi tín hiệu cho vi điều khiển, vi điều khiển điều khiển động gạt bánh vào thùng rác Bước 4: Bánh đạt chất lượng băng chuyền tiếp tục di chuyển, đưa bánh vào thùng đóng gói Bước 5: Lặp lại thao tác Phần Thiết kế chương trình Xây dựng phần cứng 1.1 Vi điều khiển STM32 STM32 dòng chip phổ biến ST với nhiều họ thông dụng F0,F1,F2,F3,F4… Stm32f103 thuộc họ F1 với lõi ARM COTEX M3 STM32F103 vi điều khiển 32 bit, tốc độ tối đa 72Mhz Giá thành rẻ so với loại vi điều khiển có chức tương tự Mạch nạp cơng cụ lập trình đa dạng dễ sử dụng Sơ lược Board trên: • cổng Mini USB dùng để cấp nguồn, nạp debug • MCU bao gồm MCU nạp MCU dùng để lập trình • Có chân Output riêng cho chân mạch nạp MCU1 • Có chân Output đầy đủ cho chân MCU2 • Chân cấp nguồn ngồi riêng cho MCU2 khơng sử dụng nguồn từ USB • Thạch anh 32,768khz dùng cho RTC Backup • Chân nạp dùng cho chế độ nạp boot loader • Nút Reset ngồi led hiển thị chân PB9, led báo nguồn cho MCU2 Cấu hình chi tiết STM32: • ARM 32-bit Cortex M3 với clock max 72Mhz • Bộ nhớ: o 64 kbytes nhớ Flash(bộ nhớ lập trình) 20kbytes SRAM Clock, reset quản lý nguồn o • o Điện áp hoạt động 2.0V -> 3.6V o Power on reset(POR), Power down reset(PDR) programmable voltage detector (PVD) o Sử dụng thạch anh từ 4Mhz -> 20Mhz o Thạch anh nội dùng dao động RC mode 8Mhz 40khz Sử dụng thạch anh 32.768khz sử dụng cho RTC Trong trường hợp điện áp thấp: o • o Có mode :ngủ, ngừng hoạt động hoạt động chế độ chờ Cấp nguồn chân Vbat pin để hoạt động RTC sử dụng lưu trữ data nguồn cấp ADC 12 bit với kênh cho o • o Khoảng giá trị chuyển đổi từ – 3.6V o Lấy mẫu nhiều kênh kênh Có cảm biến nhiệt độ nội DMA: chuyển đổi giúp tăng tốc độ xử lý khơng có can thiệp sâu CPU o • • o kênh DMA o Hỗ trợ DMA cho ADC, I2C, SPI, UART timer o timer 16 bit hỗ trợ mode IC/OC/PWM o timer 16 bit hỗ trợ để điều khiển động với mode bảo vệ ngắt input, dead-time o watdog timer dùng để bảo vệ kiểm tra lỗi sysTick timer 24 bit đếm xuống dùng cho ứng dụng hàm Delay… Hỗ trợ kênh giao tiếp bao gồm: o • o I2C(SMBus/PMBus) o USART(ISO 7816 interface, LIN, IrDA capability, modem control) o SPIs (18 Mbit/s) o CAN interface (2.0B Active) USB 2.0 full-speed interface Kiểm tra lỗi CRC 96-bit ID o • 1.2 Module Camera • • Tỷ lệ khung hình: 20 FPS Webcam MegaPixels: 0.92 MP • • • • Độ phân giải webcam: 1280×1080 Tiêu chuẩn video: HD Tỷ lệ khung hình: 1.78 Tích hợp mic sẳn Webcam 1.3 Động servo SG90 làm cần gạt - Động servo SG90 xoay 180o - Chủng loại : Động servo SG90 - Kích thước : 22.2 x 11.8 x 32 mm - Điện áp hoạt động : 5V ỨNG DỤNG - Công dụng động servo đạt góc quay xác khoảng từ 90o – 180o Việc điều khiển ứng dụng để lái robot, di chuyển tay máy lên xuống, quay cảm biến để qt khắp phịng… Hình Hàm đếm số Pixel ảnh vàng Những Pixel mà có màu vàng gán giá trị phân ngưỡng 1, pixel khơng có màu vàng gán giá trị phân ngưỡng Ta tiến hành đếm số pixel có giá trị phân ngưỡng hàm cv2.countNonZero() 15 Hình Ảnh bánh quy màu vàng phân ngưỡng 16 Hình Ảnh bánh quy màu xanh Đối với bánh quy màu xanh ta có ảnh phân ngưỡng: 17 18 ... đồ hệ thống Tóm tắt thuật tốn cho tốn kiểm tra lỗi sản phẩm Các bước làm sau: Bước 1: Ta tiến hành dừng băng chuyền bánh đến chỗ camera, tiến hành kiểm tra bánh Bước 2: Dùng xử lý ảnh kiểm tra. .. thiết để áp dụng vào hàm Và số thư viện khác… 10 2.1 Xử lý hình ảnh với Open Cv Hình Ảnh đầu vào ban đầu Đưa ảnh dạng dễ xử lý 11 Bước trước thực Xử lý ảnh cần phải có bước gọi Tiền xử lý liệu trường... Chúng ta cần phải Tiền xử lý ảnh đầu vào giúp chuyển chúng định dạng mà dễ dàng xử lý cho máy tính Bước xử lý ảnh chuyển Grayscale (ảnh xám) ảnh xám định dạng thích hợp để xử lý ảnh Ngay trường hợp