Ứng dụng xử lý ảnh kiểm tra chất lượng bề mặt đinh tán

ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG CƠ KHÍ LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh kiểm tra chất lượng bề mặt đinh tán NGUYỄN TRUNG ĐỨC Duc.NT20211060M@sis.hust.edu.vn Ngành Kỹ thuật khí Giảng viên hướng dẫn: PGS.TS Hoàng Hồng Hải Khoa: Cơ điện tử HÀ NỘI, 4/2023 Chữ ký GVHD ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG CƠ KHÍ NHIỆM VỤ LUẬN VĂN Họ tên sinh viên: Nguyễn Trung Đức Lớp: Khóa: 2021A Chuyên ngành: Kỹ thuật khí MSHV: 20211060M Hệ: Thạc sĩ Tên đề tài Ứng dụng xử lý ảnh kiểm tra chất lượng bề mặt đinh tán Nội dung thuyết minh Chương Tổng quan nghiên cứu Chương Cơ sở lý thuyết Chương Thuật toán đề xuất triển khai Chương Kết đánh giá Chương Kết luận Hà Nội, ngày tháng năm 2023 Giáo viên hướng dẫn PSG.TS Hoàng Hồng Hải Lời cảm ơn Tác giả xin chân thành cảm ơn PGS TS Hoàng Hồng Hải, người thầy hướng dẫn giúp đỡ tận tình từ định hướng đề tài, tổ chức thực q trình viết hồn thành luận văn Tác giả bày tỏ lòng biết ơn thầy, khoa Cơ điện tử - Trường Cơ khí - Đại Học Bách Khoa Hà Nội Xin cảm ơn Ban lãnh đạo Trường Cơ khí Đại Học Bách Khoa Hà Nội tạo điều kiện để tác giả hoàn thành luận văn Cuối cùng, tác giả xin xin chân thành cảm ơn gia đình, bạn bè đồng nghiệp tạo điều kiện, quan tâm, giúp đỡ, động viên suốt trình học tập hồn thành luận văn Trong q trình thực luận văn, chắn khơng thể tránh khỏi sai sót, tác giả mong đóng góp ý kiến thầy, cô, nhà khoa học bạn đồng nghiệp Tác giả xin chân thành cảm ơn! Tác giả Nguyễn Trung Đức Tóm tắt nội dung luận văn Thị giác máy tính ứng dụng xử lý ảnh ngày phát triển không ngừng áp dụng rộng rãi lĩnh vực khác sống Cùng với điều đó, việc nghiên cứu triển khai lĩnh vực quan tâm hết, từ giúp cải thiện đáng kể khả vận hành hiệu suất trình sản xuất cơng nghiệp Tính cấp thiết đề tài: Trong lĩnh vực sản xuất linh kiện khí, cụ thể phục vụ ngành quân đội, việc kiểm định, đánh giá bề mặt gia cơng chi tiết khí công đoạn quan trọng Chất lượng bề mặt sản phẩm cần ln theo dõi, qua đảm bảo tính bề bỉ, ổn định sản phẩm sau gia cơng Việc áp dụng thị giác máy tính giúp đánh giá chi tiết, kiểm tra yêu cầu kỹ thuật lỗi mà mắt thưởng cố thể bỏ sót Ý nghĩa thực tiễn: Trong sản xuất, việc ứng dụng thị giác máy tính giúp tối ưu trình sản xuất, cơng đoạn kiểm định chất lượng bề mặt chi tiết khí, giúp tăng hiệu mặt thời gian, hiệu suất tính xác q tình kiểm tra Thêm vào đó, đề tài đưa lý thuyết nghiên cứu học thuật lại gần, áp dụng mang lại hiệu thực tế sản xuất, vấn đề ngày trú trọng nghiên cứu hàn lâm Mục tiêu: - Xây dựng hệ thống thị giác máy tính, bao gồm camera, hệ chiếu sáng xử lý trung tâm (máy tính) thu nhận hình ảnh - Áp dụng kỹ thuật xử lý ảnh nhận diện đối tượng - Tính tốn, đánh giá chất lượng bề mặt linh kiện Nội dung nghiên cứu: - Tìm hiểu, nghiên cứu lựa chọn thuật toán xử lý ảnh - Nghiên cứu phương pháp đồng không gian ảnh hệ tọa độ thực - Phương pháp đánh giá, kiểm tra chất lượng bề mặt qua liệu hình ảnh Cơng cụ sử dụng: - Softwave: Thư viện xử lý ảnh OpenCV, thư viện xử lý ma trận Numpy, tảng hộ trợ xây dựng gia diện người dùng PyQt Hardware: Camera, Laptop i7th10, hệ chiếu sáng, hệ đồ gá,… MỤC LỤC CHƯƠNG TỔNG QUAN NGHIÊN CỨU 1.1 1.2 Bài toán yêu cầu đặt 1.1.1 Bối cảnh 1.1.2 Bài toán đặt 1.1.3 Phương án đề xuất Tổng quan kiến trúc đề xuất hệ thống CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 2.2 2.3 2.4 Giới thiệu xử lý ảnh 2.1.1 Thu nhận biểu diễn ảnh (image acquistion) 2.1.2 Tiền xử lý (image pre-processing) 10 2.1.3 Trích chọn đặc trưng (feature selection) 10 2.1.4 Hậu xử lý (image post-processing) 10 2.1.5 Lưu trữ đưa định 11 Các vấn đề xử lý ảnh 11 2.2.1 Cấu trúc liệu hình ảnh 11 2.2.2 Hệ màu 11 2.2.3 Độ phân giải 13 Kĩ thuật mặt nạ 14 2.3.1 Khái niệm mặt nạ 14 2.3.2 Kỹ thuật nhân chập 14 Các kỹ thuật lọc nhiễu 15 2.4.1 Khái quát nhiễu ảnh 15 2.4.2 Các phương pháp lọc nhiễu 17 2.5 Độ tương phản 20 2.6 Kỹ thuật phân ngưỡng ảnh 22 2.6.1 Định nghĩa 22 2.6.2 Ngưỡng toàn cục cục 22 2.7 Kỹ thuật biến đổi hình thái học (morphology transformation) 23 2.8 Đường biên (cạnh) vai trò biên nhận dạng 24 2.8.1 Một số khái niệm biên 24 2.8.2 Các kiểu biên 24 2.8.3 Vai trò biên nhận dạng 26 2.9 Các kĩ thuật dò cạnh 26 2.9.1 Khái quát dò cạnh 26 2.9.2 Các phương pháp dò cạnh 27 CHƯƠNG THUẬT TOÁN ĐỀ XUẤT VÀ TRIỂN KHAI 32 3.1 Lựa chọn hệ phần cứng 32 3.2 Phương pháp đề xuất 33 3.2.1 Thu nhận ảnh 34 3.2.2 Tăng độ tương phản 34 3.2.3 Chuyển thang màu xám 35 3.2.4 Lọc nhiễu 35 3.2.5 Phân ngưỡng thích nghi 36 3.2.6 Biến đổi hình thái học 37 3.2.7 Dò đường biên 37 3.2.8 Tìm biên dạng 38 3.2.9 Chuyển đổi pixel sang hệ mét 39 3.2.10 Giao diện tương tác 40 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 41 4.1 Nhận diện đường bao .41 4.2 Kết đo 42 CHƯƠNG KẾT LUẬN 44 5.1 Kết luận nghiên cứu 44 5.2 Hướng phát triển 44 DANH MỤC HÌNH VẼ Hình 1.1 Linh kiện lề Hình 1.2 Thông số bàn lề Hình 1.3 Máy tán đinh Hình 1.4 Gá đặt chi tiết Hình 1.5 Quá trình tán đinh Hình 1.6 Dụng cụ đo Hình 1.7 Mục tiêu đặt Hình 1.8 Phương án đề xuất Hình 1.9 Kiến trúc hệ thống kiểm tra chất lượng bề mặt đinh tán Hình 2.1 Quy trình xử lý ảnh Hình 2.2 Quá trình hiển thị, chỉnh sửa lưu trữ thơng qua DIB Hình 2.3 Sự chuyển đổi mơ hình biểu diễn ảnh .10 Hình 2.4 Ảnh màu RGB biểu thị ba ma trận 11 Hình 2.5 Độ phân giải ảnh 14 Hình 2.6 Kỹ thuật nhân chập 15 Hình 2.7 Nhiễu phụ thuộc vào liệu 16 Hình 2.8 Nhiễu Gaussian trước sau xử lí 16 Hình 2.9 Nhiễu muối tiêu trước sau xử lí 17 Hình 2.10 Minh họa phân bố Gaussian chiều 19 Hình 2.11 Minh họa phân bố Gaussian chiều Hình 2.12 Xấp xỉ rời rạc cho hàm Gausian với Hình 2.13 Minh họa lọc Gaussian với cácđộ 19 lệch chuẩn = 20 20 21 Hình 2.14 Độ tương phản ảnh Hình 2.16 Phân ngưỡng tùy biến 22 22 Hình 2.17 Biến đổi hình thái giãn nở 23 Hình 2.18 Biến đổi hình thái xói mịn 24 Hình 2.19 Đường biên lý tưởng 25 Hình 2.20 Đường biên khơng trơn 26 Hình 2.21 Các điểm biên lân cận P 30 Hình 2.15 Phân ngưỡng ảnh Hình 2.22 Kết trích xuất cạnh sử dụng phương pháp dò cạnh Canny 31 Hình 3.1 Camera thu nhận hình ảnh 32 Hình 3.2 Quy trình xử lý ảnh 33 Hình 3.3 Hệ thống thí nghiệm 34 Hình 3.4 Điều chỉnh độ tương phản 35 Hình 3.5 Chuyển kênh màu xám 35 Hình 3.6 Lọc nhiễu Gaussian .36 Hình 3.7 Phân ngưỡng thích nghi với blockSize 25 .36 Hình 3.8 Biến đổi hình thái học 37 Hình 3.9 Dị đường biên với thuật tốn Canny 37 Hình 3.10 Đường biên sau lọc .38 Hình 3.11 Tìm biên dạng 39 Hình 3.12 Bảng chỉnh đường trịn 39 Hình 3.13 Giao diện tương tác 40 Hình 4.1 Kết nhận diện đường bao mặt đinh tán 41 Hình 4.2, Tốc độ xử lý khung hình .41 DANH MỤC BẢNG BIỂU Bảng 2-1 Các điểm lân cận theo hướng 31 Bảng 3-1 Thông số kỹ thuật camera 32 Bảng 4-1 Kết đo thực nghiệm .42 CHƯƠNG TỔNG QUAN NGHIÊN CỨU 1.1 Bài toán yêu cầu đặt 1.1.1 Bối cảnh Trong trình sản xuất linh kiện thiết bị phục vụ cho quân đội nhà máy Z113, khớp nối linh kiện lề cố định mối ghép đinh tán – loại mối ghép không tháo tháo làm hỏng mối ghép, mối ghép bao gốm chi tiết ghép, đinh tán Hiện nay, việc kiểm soát chất lượng loại mối ghép nhà máy thực thủ công với cơng suất chưa cao Hình 1.1 Linh kiện lề Hình 1.2 Thơng số bàn lề Trên giới, việc nghiên cứu công nghệ sản xuất máy tán rivet đa dạng phát triển Nhiều loại máy tán với nguyên lý khác ứng dụng vào nhiều lĩnh vực khác Ngoài công nghệ tán truyền thống, nhà sản xuất máy tán rivet giới phát triển nhiều công nghệ như: máytán CNC, máy tán dây chuyền, robot tán… dùng cho việc gia công hàng loạt vừa lớn Tại nhà máy Z113, công nghệ tán rivet nghiên cứu nhiều năm với nhiều phiên máy tán đinh đời nhằm mục đích phục vụ sản xuất Hình 1.3 Máy tán đinh