Hệ thống kiểm tra lỗi phốt bạc đạn tự động ứng dụng xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ HỆ THỐNG KIỂM TRA LỖI PHỐT BẠC ĐẠN TỰ ĐỘNG ỨNG DỤNG XỬ LÝ ẢNH GVHD: ThS NGUYỄN MINH TRIẾT SVTH: NGUYỄN VĂN TÂM LÊ QUANG CHIẾN PHAN ĐÌNH PHONG S K L Tp Hồ Chí Minh, tháng 7/2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP HỆ THỐNG KIỂM TRA LỖI PHỐT BẠC ĐẠN TỰ ĐỘNG ỨNG DỤNG XỬ LÝ ẢNH Giáo viên hướng dẫn: ThS NGUYỄN MINH TRIẾT Sinh viên thực hiện: NGUYỄN VĂN TÂM MSSV: 19146384 LÊ QUANG CHIẾN MSSV: 19146310 PHAN ĐÌNH PHONG MSSV: 19146373 Lớp: 191462 Khóa: 2022-2023 TP Hồ Chí Minh, tháng 7/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự – Hạnh phúc KHOA CƠ KHÍ CHẾ TẠO MÁY NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Học kỳ II / năm học 2022 - 2023 Giảng viên hướng dẫn: ThS Nguyễn Minh Triết Sinh viên thực hiện: Nguyễn Văn Tâm MSSV: 19146384 Điện thoại: 0798963399 Lê Quang Chiến MSSV: 19146310 Điện thoại: 0702332743 Phan Đình Phong MSSV: 19146373 Điện thoại: 0348421462 Mã số đề tài: 22223DT139 – Tên đề tài: HỆ THỐNG KIỂM TRA LỖI PHỐT BẠC ĐẠN TỰ ĐỘNG ỨNG DỤNG XỬ LÝ ẢNH Các số liệu, tài liệu ban đầu:  Yêu cầu kỹ thuật  Thiết kế khí Nội dung đồ án:  Thiết kế phần khí phân loại phốt bạc đạn  Thiết kế mạch điện cho mơ hình khí  Lập trình xử lý ảnh phân loại Các sản phẩm dự kiến:  Báo cáo đồ án tốt nghiệp  Mô hình sản phẩm Ngày giao đồ án: 15/03/2023 Ngày nộp đồ án: 15/07/2023 Tiếng Anh  Tiếng Việt  Trình bày bảo vệ: Tiếng Anh  Tiếng Việt  Ngơn ngữ trình bày: Bản báo cáo: TRƯỞNG KHOA TRƯỞNG BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên)  Được phép bảo vệ …………………………………………………… (GVHD ký, ghi rõ họ tên) i LỜI CAM KẾT Tên đề tài: HỆ THỐNG KIỂM TRA LỖI PHỐT BẠC ĐẠN TỰ ĐỘNG ỨNG DỤNG XỬ LÝ ẢNH Giảng viên hướng dẫn: ThS Nguyễn Minh Triết Sinh viên thực hiện: Họ tên sinh viên MSSV Lớp Số điện thoại Nguyễn Văn Tâm 19146384 Lê Quang Chiến 19146310 Phan Đình Phong 19146373 191462A 0798963399 191462B 0702332743 191462B 0348421462 Ngày nộp khóa luận tốt nghiệp (ĐATN): Lời cam kết: “Chúng tơi xin cam đoan khóa luận tốt nghiệp (ĐATN) cơng trình chúng tơi nghiên cứu thực Chúng không chép từ viết công bố mà khơng trích dẫn nguồn gốc Nếu có vi phạm nào, chúng tơi xin chịu hồn tồn trách nhiệm” Tp Hồ Chí Minh, ngày … tháng … năm 2023 Sinh viên ký tên ii LỜI CẢM ƠN Trong q trình thực đồ án nhóm nhận hỗ trợ giúp đỡ từ thầy cô bạn bè, qua nhóm muốn gửi lời cảm ơn tới thầy cô bạn đồng hành hành trình hồn thiện đồ án, đồng thời khơng qn gửi lời cảm ơn đến gia đình, bậc phụ huynh đồng hành hậu phương vững q trình hồn thành khóa luận Nhóm chúng em xin gửi lời cảm ơn tới thầy cô Trường Đại học Sư phạm Kỹ thuật TP.HCM, cảm ơn thầy cô tạo môi trường để chúng em học tập nghiên cứu khoa học Nhóm em xin gửi lời cảm ơn đến thầy ThS Nguyễn Minh Triết, hướng dẫn tận tình đưa hướng giải vấn đề rõ ràng để chúng em đưa đồ án hướng phát triển thân Do thời gian thực đồ án có giới hạn, kỹ cịn nhiều hạn chế thu hoạch có nhiều sai sót, mong q thầy dẫn, góp ý để đồ án chúng em hệ tiếp tục cải tiến nâng cao phát triển Sau cùng, chúng em chúc thầy cô, bạn bè gia đình ln đồng hành nhóm chúng em, thật nhiều sức khỏe tiếp tục sứ mệnh trồng người, để hệ mai sau bước tiếp kế thừa kiến thức mà hệ trước dày công xây dựng Chúng em xin chân thành cảm ơn! iii TÓM TẮT ĐỒ ÁN HỆ THỐNG KIỂM TRA LỖI PHỐT BẠC ĐẠN TỰ ĐỘNG ỨNG DỤNG XỬ LÝ ẢNH Đề tài tập trung chủ yếu xây dựng hệ thống xử lý ảnh để kiểm tra lỗi phốt bạc đạn tự động Cùng với mục tiêu phát triển phương pháp xác hiệu để phân loại lỗi phốt bạc đạn Thư viện OpenCV mơ hình YOLO hai thành phần sử dụng hệ thống Các cơng cụ thuật toán xử lý, phân đoạn xử lý mặt nạ có sẵn thư viện OpenCV Điều làm tăng chất lượng ảnh trích xuất đặc điểm cần thiết để phân loại lỗi Mơ hình YOLO sử dụng để tìm lỗi phốt bạc đạn ảnh Mơ hình nhìn tồn ảnh lần, giúp hệ thống xác định đối tượng nhanh chóng xác Sử dụng mơ hình YOLO thư viện OpenCV giúp hệ thống phân loại lỗi hiệu xác Việc tạo hệ thống áp dụng trình kiểm tra lỗi phốt bạc đạn tự động tiến hành sản xuất bên doanh nghiệp Thuật tốn xử lý ảnh mơ hình YOLO cải thiện độ xác chất lượng đồng thời giảm nhiều thời gian tạo suất cao q trình kiểm tra lỗi Tóm lại, mục tiêu cuối đề tài phải mô hình phân loại sản phẩm, áp dụng mơ hình YOLO thư viện OpenCV Hệ thống đóng góp cho doanh nghiệp chất lượng cao có nhiều ứng dụng công nghiệp Chúng em hy vọng luận án chúng em hỗ trợ trường đại học dự án nguyên mẫu để hệ tiếp tục nâng cấp iv ABSTRACT This topic focuses on developing an image processing system to automatically check for inspecting bearing seal defects The objective of this project is to develop a reliable and efficient method for accurately classifying bearing seal defects The OpenCV library and the YOLO model are the two main components used in the system Image processing tools and algorithms such as noise filtering, segmentation, and mask processing are available in the OpenCV library This enhances the image quality and extracts the necessary features for defect classification The YOLO model is used to detect bearing seal defects in the image This model can examine the entire image at once, enabling the system to identify objects quickly and accurately By using the YOLO model and the OpenCV library, the system can classify defects more effectively and accurately This system can be used in automatic bearing seal testing procedures carried out in manufacturing enterprises Image processing technology and the YOLO model improve product quality and reliability while reducing time and energy for the defect inspection process In summary, the goal of this research is to build an automatic bearing seal defect inspection system using image processing, employing the YOLO model and the OpenCV library This system contributes to the production of high-quality products and has various applications in industry We hope that our project will support the university as a prototype for future generations to continue and upgrade it v MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP .i LỜI CAM KẾT ii LỜI CẢM ƠN iii TÓM TẮT ĐỒ ÁN iv MỤC LỤC vi DANH MỤC BẢNG BIỂU .ix DANH MỤC SƠ ĐỒ, HÌNH VẼ x DANH MỤC TỪ VIẾT TẮT xii CHƯƠNG 1: GIỚI THIỆU 1.1 Tính cấp thiết đề tài lý chọn đề tài 1.2 Ý nghĩa khoa học thực tiễn đề tài 1.3 Mục tiêu nghiên cứu đề tài .1 1.4 Đối tượng phạm vi nghiên cứu 1.4.1 Đối tượng nghiên cứu 1.4.2 Phạm vi nghiên cứu 1.5 Phương pháp nghiên cứu .3 1.5.1 Cơ sở phương pháp luận 1.5.2 Các phương pháp nghiên cứu cụ thể 1.6 Kết cấu ĐATN CHƯƠNG 2: TỔNG QUAN HỆ THỐNG KIỂM TRA LỖI VÀ XỬ LÝ ẢNH 2.1 Phốt bạc đạn 2.1.1 Giới thiệu phốt bạc đạn 2.1.2 Công dụng, cách sử dụng 2.1.3 Các dạng lỗi phốt thường gặp 2.2 Tổng quan hệ thống 2.3 Tổng quan xử lý ảnh 2.4 Tình hình nước nước .7 2.4.1 Tình hình ngồi nước 2.4.2 Tình hình nước CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 3.1 Giới thiệu thư viện OpenCV 3.2 Phương pháp Deep Learning 3.2.1 Khái niệm Deep Learning .9 vi 3.2.2 ANN 10 3.2.3 CNN 11 3.2.4 YOLOv8 12 3.3 Giao diện GUI .13 3.3.1 Các khái niệm GUI 13 3.3.2 Lập trình Tkinter 14 3.3.3 Quản lý hình học 14 3.3.4 Thư viện Custom tkinter 14 3.3.5 Pillow .16 3.3.6 Thư viện Serial 17 3.4 Khái niệm Blynk 17 CHƯƠNG 4: PHƯƠNG HƯỚNG VÀ CÁC GIẢI PHÁP VỀ PHÂN LOẠI PHỐT BẠC ĐẠN .19 4.1 Phân loại theo mơ hình OpenCV .19 4.1.1 Nhận diện lỗi 19 4.1.2 Tách lỗi từ ảnh 19 4.1.3 Phân vùng lỗi 20 4.1.4 Lọc nhiễu 20 4.1.5 Lưu đồ giải thuật 21 4.2 Phân loại theo mơ hình YOLO 22 4.2.1 Chuẩn bị liệu huấn luyện 22 4.2.2 Chuẩn bị tệp cấu hình tải trọng số mơ hình pre-trained 23 4.2.3 Tiến hành huấn luyện .24 4.2.4 Đánh giá mô hình .25 4.2.5 Lưu đồ giải thuật 27 4.3 Lựa chọn phương pháp 28 4.4 Sơ đồ nguyên lý nguyên lý làm việc 28 4.5 Lưu đồ giải thuật ESP32 .30 CHƯƠNG 5: CHỌN LINH KIỆN VÀ TÍNH TỐN BĂNG TẢI, TRỤC, TRUYỀN ĐỘNG ĐAI VÀ Ổ LĂN 31 5.1 Chọn động điện tính toán tỉ số truyền 33 5.1.1 Xác định số vòng quay sơ 33 5.1.2 Xác định công suất 33 5.1.3 Chọn động 34 5.1.4 Tính tỷ số truyền .35 5.2 Truyền động đai 35 vii 5.2.1 Chọn loại đai thang 36 5.2.2 Đường kính bánh đai d1, d2 36 5.2.3 Khoảng cách trục a 36 5.2.4 Chiều dài đai L 37 5.2.5 Kiểm nghiệm đai tuổi thọ 37 5.2.6 Góc ôm α1 37 5.2.7 Lực tác dụng lên trục 38 5.3 Tính tốn băng tải trục 38 5.3.1 Tính tốn chiều dài băng tải .38 5.3.2 Tính tốn trục 38 5.4 Tính tốn ổ lăn 42 5.4.1 Chọn sơ ổ lăn .42 5.4.2 Kiểm nghiệm khả tải động: .43 5.4.3 Kiểm nghiệm khả tải tĩnh: .44 5.5 Các thiết bị sử dụng 45 5.5.1 Vi điều khiển ESP32 .45 5.5.2 Relay đóng ngắt 46 5.5.3 Module A4988 điều khiển động bước 46 5.5.4 Động bước (Step Motor) .48 5.5.5 Camera .49 5.5.6 Cảm biến phát từ tính Hall KY - 003 .50 5.5.7 Module PWM 50 5.5.8 Động DC giảm tốc GA25 12V 12RPM .51 5.6 Sơ đồ nguyên lý điều khiển 52 CHƯƠNG 6: THI CÔNG VÀ ĐÁNH GIÁ HỆ THỐNG PHÂN LOẠI PHỐT ỨNG DỤNG XỬ LÝ ẢNH 53 6.1 Xây dựng mơ hình 3D 53 6.2 Gia công phần cứng 56 6.3 Thiết kế giao diện GUI 57 6.4 Giao diện App Web Blynk .59 6.5 Thực nghiệm đánh giá 61 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 63 TÀI LIỆU THAM KHẢO 64 PHỤ LỤC 66 viii CHƯƠNG 6: THI CÔNG VÀ ĐÁNH GIÁ HỆ THỐNG PHÂN LOẠI PHỐT ỨNG DỤNG XỬ LÝ ẢNH 6.1 Xây dựng mơ hình 3D Bảng 6-1: Bảng thành phần Số thứ tự Tên Số lượng Khay hứng Tấm đỡ cấu hứng Trục cấu hứng Tấm khung buồng ảnh 53 Hình ảnh Khung buồng ảnh Tấm đỡ cấu cấp Vòng cấp sản phẩm Tấm khung buồng cảm biến Hình 6-1: Cơ cấu tự động cấp phơi vẽ 3D 54 Hình 6-2: Cơ cấu phân loại vẽ 3D Hình 6-3: Mơ hình băng tải vẽ 3D 55 6.2 Gia cơng phần cứng Hình 6-4: Mơ hình thi cơng cấu cấp phốt Hình 6-5: Mơ hình thi cơng cấu phân loại Hình 6-6: Mơ hình băng tải thực tế 56 Hình 6-7: Bộ điều khiển thực tế 6.3 Thiết kế giao diện GUI - Frame: Như hình sau, dùng để chia khu vực chứa giao diện Hình 6-8: Giao diện Frame - Optionmenu: Lựa chọn chủ đề system, dark, light Hình 6-9: Chỉnh màu giao diện 57 Hình 6-10: Các option light, dark, system - Button: Gắn với kiện start, stop, reset, select, login, exit Hình 6-11: Nút nhấn start, stop, reset, exit, select - Combobox: Dùng để lựa chọn camera với lựa chọn webcam, camera Hình 6-12: Lựa chọn camera 58 - Label: Hiện thị dịng text, camera Hình 6-13: Hiển thị giá trị camera Hình 6-14: Đếm phốt bạc đạn Hình 6-15: Giao diện GUI 6.4 Giao diện App Web Blynk Nhóm chúng em sử dụng Blynk để giám sát thông số liên quan đến tổng số lượng sản phẩm, số lượng sản phẩm bị lỗi tính khác gần giống với giao diện GUI (không hiển thị ảnh) đồ án Chúng em dùng phiên Blynk miễn phí đáp ứng yêu 59 cầu đồ án phiên không cho phép tùy chỉnh nhiều giao diện nên giao diện cịn đơn giản, khơng có màu sắc bật Hình 6-16: Giao diện Web Blynk Hình 6-17: Giao diện App Blynk 60 6.5 Thực nghiệm đánh giá Sau trình tiến hành hệ thống nhóm kiểm tra đưa số liệu cho trình thực nghiệm sau: Bảng 6-2: Số liệu đo đạc thực nghiệm cấu cấp phôi Số lượng phôi cấu cấp phôi Số lần cấu thành công cấp hết phôi Số lần cấu bị kẹt chưa cấp hết phôi Tổng số lần Tỉ lệ cấu thành công cấp xong phôi 18 20 22 24 26 28 10 10 0 10 10 10 10 10 10 100% 100% 90% 70% 50% 20% Kết luận đánh giá hiệu cấu cấp phơi phốt: việc mơ hình nhỏ cịn nhiều hạn chế tham khảo cấu cấp phôi thực tế công nghiệp, cấu cấp phôi nhóm cấp thành cơng số lượng phôi tối đa 20 phôi để đạt tỉ lệ thành cơng tối đa, số lượng cịn để áp dụng điều kiện thực tế Bảng 6-3: Số liệu xử lý ảnh dùng phương pháp OpenCV Kích thước sản phẩm bị lỗi dài rộng Số lượng Số lượng sản phẩm phân loại Số lượng sản phẩm không phân loại sản phẩm 5x10 mm 40 40 4x8 mm 40 40 5x5 mm 40 38 4x5 mm 40 37 2x2 mm 40 31 Sản phẩm không bị lỗi 40 39 Kết luận đánh giá việc phân tách ảnh: ưu điểm phương pháp không cần phải huấn luyện (train) giá trị đầu vào lần có sản phẩm mới, không cần nhiều liệu ban đầu Phương pháp chịu tác động nhiều từ nhiễu từ môi trường, nhận dạng với sản 61 phẩm có kích thước lỗi lớn, để giải tốn với kích thước lỗi nhỏ nhóm định chọn phương pháp huấn luyện model YOLO để nhận dạng sản phẩm có kích thước lỗi nhỏ Sau kết thực nghiệm phương pháp huấn luyện model nhận diện thông qua YOLO: Bảng 6-4: Số liệu thực nghiệm dùng phương pháp huấn luyện model nhận diện thông qua YOLO phốt bạc đạn màu xanh N = 1500 Phốt bạc đạn tốt Lỗi trầy Lỗi rách Nhận dạng xác 488 468 483 Nhân dạng khơng xác 12 32 27 Tổng 500 500 500 97,6% 93,6% 96,6% Độ xác Kết luận: Độ xác chung: (488 + 468 + 483)/1500 = 95,93% Do q trình thực đề tài, nhóm có thay đổi loại phốt bạc đạn, có thay đổi q trình đào tạo model Nhóm bỏ lỗi trầy khó nhận biết qua camera phốt bạc đạn màu đen, thêm lỗi có Bavia Bảng 6-5: Số liệu thực nghiệm dùng phương pháp huấn luyện model nhận diện thông qua YOLO phốt bạc đạn màu đen N = 2000 Phốt bạc đạn tốt Lỗi Ba-via Lỗi rách Lỗi rách (2-3mm) (