Ứng dụng xử lý ảnh nhằm phát hiện và quản lý dị vật trong hệ thống giám sát chất lượng panel

` TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel HỒNG ĐÌNH TUẤN tuan91.sdbn@gmail.com Ngành Cơ điện tử Giảng viên hướng dẫn: TS Đặng Thái Việt Chữ ký GVHD Viện: Cơ khí HÀ NỘI, 05/2020 i ` CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Hồng Đình Tuấn Đề tài luận văn: Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel Chuyên ngành:Cơ điện tử Mã số SV: CB180017 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 21.05 với nội dung sau: Chỉnh sửa bố cục luận văn, thêm phần kết luận sau chương Thêm nội dung chiếu sáng đề cập thuyết trình vào nội dung thuyết minh đề tài Phần tổng quan làm rõ nhiệm vụ nội dung đề tài Sử dụng form thuyết minh tiêu chuẩn, sửa lỗi tả, hạn chế sử dụng từ tiếng Anh; có phải bổ sung nghĩa tiếng Việt bên cạnh Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ii ` Lời cảm ơn Đề tài “ Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel” nội dung chọn để nghiên cứu làm luận văn tốt nghiệp cao học chuyên ngành Cơ điện tử trường đại học Bách Khoa Hà Nội Tôi xin chân thành cảm ơn sâu sắc đến TS Đặng Thái Việt thuộc Bộ môn Cơ Điện Tử, Viên Cơ Khí – Trường đại học Bách Khoa Hà Nội Thầy trực tiếp bảo hướng dẫn tơi suốt q trình nghiên cứu để tơi hồn thiện luận văn Ngồi tơi xin chân thành cảm ơn Thầy, Cô Bộ môn Cơ điện tử đóng góp ý kiến quý báu cho luận văn Trân trọng cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn trình bày việc phát dị vật nhằm loại bỏ trước dị vật gây lỗi trình sản xuất Panel nhà máy sản xuất điện thoại đại Mục đích: Giảm thiểu cách tối đa lỗi liên quan tới dị vật nhằm giảm chi phí phát sinh, tối đa hóa lợi nhuận, giảm giá thành sản phẩm Mục tiêu luận văn thực hiện: Phát dị vật sau đưa cảnh báo cách sử dụng công cụ xử lý ảnh để đưa phán đốn xác việc có hay khơng có dị vật q trình sản xuất đưa cảnh báo Phương pháp thực hiện: Sử dụng thuật toán trừ ảnh( subtrack background) nhằm phát dị vật phát sinh trình sản xuất Công cụ sử dụng: Microsoft Visual 2017, Office 2013, OpenCV… Kết đạt được: xây dựng thành công hệ thống áp dụng vào nhà máy Định hướng phát triển đề tài: Mở rộng phát lỗi khác đứt, gãy… Học viên Hồng Đình Tuấn iii ` MỤC LỤC CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU 1.1 Đặt vấn đề 1.1.1 Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại 1.1.2 Ảnh hưởng dị vật tới chất lượng sản phẩm công đoạn dán 1.1.3 Lý lựa chọn đề tài 1.2 Lý thuyết xử lý ảnh ứng dụng thực tế 1.2.1 Không gian màu, chuyển đổi không gian màu 10 1.2.2 Ảnh nhị phân, nhị phân hóa với ngưỡng động 13 1.2.3 Phóng to, thu nhỏ, xoay ảnh 14 1.2.4 Một số phép toán sử dụng nội dung luận văn 15 1.3 Các thuật toán liên quan lựa chọn 21 1.3.1 Phương pháp tách (Background subtraction) 21 1.3.2 Phương pháp Template Matching 23 CHƯƠNG II: TÍNH TỐN THIẾT KẾ CƠ KHÍ 27 2.1 Cơ sở tính tốn lựa chọn Camera cho hệ thống giám sát chất lượng Panel 27 2.1.1 Thực nghiệm lựa chọn kích thước dị vật nhỏ cần phát 32 2.2 Thơng số thiết bị, vị trí lắp đặt Camera vẽ Jig Panel 34 2.3 Chọn phương án chiếu sáng( lightning) 40 CHƯƠNG III: THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN 41 3.1 Yêu cầu toán điều khiển 41 3.2 Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng Panel 42 3.3 Kết thực tế mơ hình thiết bị thử nghiệm 48 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 58 iv ` Danh mục hình ảnh Hình ảnh 1.1 Các đường song song xuất trở thành dốc Hình ảnh 1.2 Sơ đồ khối thiết bị dán Window với Panel Hình ảnh 1.3 Cấu tạo hình OLED Hình ảnh 1.4 Ý tưởng sử dụng camera vision để giám sát dị vật công đoạn dán……………………………………………………… Hình ảnh 1.5 Khơng gian màu RGB 11 Hình ảnh 1.6 Khơng gian màu YMC 12 Hình ảnh 1.7 Khơng gian màu HSV 13 Hình ảnh 1.8 Ảnh với giá trị threshold khác 14 Hình ảnh 1.9 Thuật tốn thu phóng ảnh 15 Hình ảnh 1.10 Thuật tốn xoay ảnh 15 -Hình ảnh 1.12 Phép giãn nở 16 Hình ảnh 1.13 Gradient 18 Hình ảnh 1.14 Ảnh gốc lọc Candy 18 Hình ảnh 1.15 Ví dụ phép tìm biên lọc Candy 19 Hình ảnh 1.16 Chuyển đổi Hough 20 Hình ảnh 1.17 Chuyển đổi Hough đường trịn 21 Hình ảnh 2.1 Thông số thiết bị liên quan tới tính tốn khí 27 Hình ảnh 2.2 Lý thuyết camera vision 28 Hình ảnh 2.3 Sơ đồ thiết bị, vị trí lắp đặt Camera Vision cơng đoạn 34 Hình ảnh 2.4 Bản vẽ mơ tả khu vực làm việc camera 35 Hình ảnh 2.5 Sơ đồ nguyên lý hoạt động hệ thống 35 Hình ảnh 2.6 Robot loading Panel từ Tray vào Panel Stage( Jig) 36 Hình ảnh 2.7 Step chu trình làm việc 36 Hình ảnh 2.8 Step chu trình làm việc 37 Hình ảnh 2.9 Step trường hợp phát sinh dị vật stage 38 Hình ảnh 2.10 Bản vẽ Jig chân không hút Panel 39 Hình ảnh 2.11 Lựa chọn phương án chiếu sáng 40 v ` Hình ảnh 3.1 Sơ đồ lắp đặt hệ thống điều khiển 41 Hình ảnh 3.2 Sơ đồ thuật toán 43 Hình ảnh 3.3 Lọc tìm biên đặc tính Jig lọc Candy 44 Hình ảnh 3.4 Đăng ký ngoại lệ tọa vị trí đặc tính cố hữu Jig 44 Hình ảnh 3.5 Đăng ký Main Pattern 45 Hình ảnh 3.6 Đăng ký Sub Pattern 45 Hình ảnh 3.7 Đăng ký Sub Pattern 45 Hình ảnh 3.8 Các điểm đăng ký ngoại lệ dùng làm đặc tính hình ảnh 46 Hình ảnh 3.9 Ảnh live chưa xác định vùng ROI 47 Hình ảnh 3.10 Giải thích ý tưởng thuật toán 48 Hình ảnh 3.11 Thiết bị đánh giá chương trình vision dị vật Jig 49 Hình ảnh 3.12 Mơ hình thiết kế vị trí đặt camera Jig kiểm tra dị vật 49 Hình ảnh 3.13 Kết thực nghiệm phát xác dị vật kích thước 0.2mm……………………………………………… ………54 Hình ảnh 3.14 Jig khơng có dị vật 55 Hình ảnh 3.15 Kết Vision Jig khơng có dị vật: OK 55 Hình ảnh 3.16 Jig có dị vật bị phát Vision camera 56 Hình ảnh 3.17 Jig có dị vật bị phát Vision camera 56 vi ` LỜI NÓI ĐẦU Cuộc sống ngày đại gắn liền với tự động hóa, cơng nghệ số nhu cầu sử dụng thiết bị điện tử, sản phẩm công nghệ cao gắn liền với đời sống sinh hoạt người ngày nhiều Vì việc thiết kế, sản xuất liên tục cải tiến thiết bị điện, điện tử phục vụ nhu cầu sống hàng ngày người cần thiết không ngừng diễn quanh Những năm gần đây, nhờ sách mở cửa nhà nước nên công nghệ sản xuất, thiết bị đại phục vụ sản xuất tự động hóa nhập trực tiếp, nhận đầu tư lớn từ tập đồn cơng nghệ hàng đầu giới tăng lên đáng kể, đặc biệt phải kể tới tập đồn lớn cơng nghệ đến từ Nhật Bản, Hàn Quốc, Trung Quốc… Hưởng lợi từ việc nhập linh kiện máy móc sản xuất thiết bị điện tử sản xuất nước với chi phí thấp tạo hội việc làm cho nhân lực nước, qua học hỏi, trau dồi cơng nghệ từ đối tác nước ngày trở nên thuận tiện Trong ngành sản xuất thiết bị điện tử nói chung ngành sản xuất hình, thiết bị sử dụng hình hiển thị ngày phát triển Việt Nam, đặc biệt theo xu hướng ngày hoàn thiện chất lượng sử dụng cao hướng tới nhu cầu cao thị trường Do đó, vấn đề kiểm sốt tốt chất lượng sản phẩm trình sản xuất giúp giảm thiểu chi phí nhiều, giúp tăng tính cạnh tranh sản phẩm sản xuất nước nâng cao trình độ kỹ thuật nhân lực sản xuất lên cách đáng kể Hơn nữa, xu hướng cơng ty sản xuất hình thiết bị sử dụng hình ngày mỏng gập, uốn cong nhằm đáp ứng nhu cầu thị trường nên việc sản xuất hàng loạt phải đảm bảo chất lượng địi hỏi cơng đoạn giám sát chất lượng phải ngày xác nhanh Việc kiểm soát chất lượng sản phẩm cơng nhân ngoại quan khơng cịn đáp ứng nhu cầu sản xuất cần phải có cơng nghệ tiên tiến hỗ trợ để tăng cao độ xác giảm tối đa thời gian kiểm tra hàng lỗi, kịp thời xử lý trình sản xuất nhằm giảm tối đa thiệt hại thời gian sản xuất Một công nghệ tiên tiến hỗ trợ tốt cho quy trình giám sát chất lượng phát triển mạnh mẽ vài năm gần phải kể đến ` cơng nghệ Computer Vision( thị giác máy tính) Cơng nghệ phát triển tốt ứng dụng phù hợp hồn tồn thay người việc tự động phát lỗi nhỏ với thời gian nhanh việc kiểm sốt hồn toàn tự động camera ngày hoàn thiện cho phép phát vật thể với kích thước cực nhỏ mà mắt người khơng thể nhìn thấy Một yếu tố quan trọng, mang tính sống cịn cần giám sát cơng ty sản xuất hình đại dị vật, mơi trường sản xuất phịng dị vật có kích thước nhỏ khó kiểm sốt lọt vào quy trình sản xuất gây lỗi đặc tính cho sản phẩm Thơng qua hình thức kiểm sốt hình ảnh thời gian thực bẳng cách sử dụng camera có độ phân giải cao kết hợp với thuật toán xử lý tín hiệu hình ảnh để phân tích, cho kết xác giúp phán định có hay khơng dị vật quy trình sản xuất giúp phịng tránh tốt cố chất lượng Độ xác phương pháp xử lý ảnh thời gian thực phụ thuộc nhiều vào phần cứng thiết bị vi xử lý, card đồ họa máy tính hay camera ghi lại hình ảnh phụ thuộc vào thuật tốn tối ưu hay khơng… Trước yêu cầu thực tiễn, luận văn lên ý tưởng việc tiến hành lắp đặt hệ thống giám sát chất lượng Panel thông qua việc phát đưa cảnh báo xuất dị vật Stage( bàn chân không đặt Panel) “Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel” Thuyết minh đồ án gồm chương, nội dung sau:  Chương 1: TỔNG QUAN NGHIÊN CỨU - Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng dị vật tới chất lượng công đoạn dán nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất công nghiệp ` - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài  Chương 2: TÍNH TỐN THIẾT KẾ CƠ KHÍ - Cơ sở tính tốn lựa chọn Camera cho hệ thống giám sát chất lượng - Thông số linh kiện phù hợp với yêu cầu đặt - Mô hoạt động hệ thống giám sát chất lượng Panel  Chương 3: THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN - Yêu cầu toán điều khiển - Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng Panel - Thuật tốn tìm kiếm dị vật phát sinh dựa giải thuật Template Matching Dù cố gắng hoàn thành đề tài với cường độ làm việc cao, kỹ lưỡng hướng dẫn cụ thể, nhiệt tình thầy môn điện tử ứng dụng thực tiễn quan làm việc, hiểu biết hạn chế cộng với điều kiện đo kiểm thực nghiệm giới hạn mặt thiết bị nên chắn luận văn không tránh khỏi khả thiết sót bất cập Vì em mong sửa chữa góp ý hội đồng, quý thầy cô để em rút kinh nghiệm bổ sung thêm kiến thức cho thân Hà Nội, ngày 08 tháng năm 2020 Học viên thực hiện: Hồng Đình Tuấn ` CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU Chương I bao gồm nội dung sau: - Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng dị vật tới chất lượng công đoạn dán nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất công nghiệp - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài 1.1 Đặt vấn đề Xử lý ảnh lĩnh vực mà ngày phát triển ứng dụng rộng rãi nhiều lĩnh vực khác nhờ vào phát triển ngày mạnh mẽ hệ thống máy tính, thuật tốn cơng trình nghiên cứu khác nhiều nhà khoa học giới Ở Việt Nam, vớ phát triển kỷ nguyên công nghiệp 4.0 ứng dụng xử lý ảnh triển khai vô mạnh mẽ nhiều lĩnh vực ứng dụng quản lý giao thông đô thị[4], ứng dụng quản lý liệu sinh trắc học[5], ứng dụng hệ thống giám sát chất lượng, hệ thống nhận diện thông qua cử người[12] … Trên đà phát triển xử lý ảnh, phải kể đến ứng dụng lĩnh vực kiểm tra trực quan( Visual Inspection) liên quan tới việc phân tích sản phẩm đối tượng sản xuất khác dây chuyền cho mục đích kiểm sốt chất lượng Kiểm tra trực quan sử dụng để đánh giá bên bên thiết bị khác sở sản xuất bể chứa, bình chịu áp lực, đường ống thiết bị khác Đó q trình diễn khoảng thời gian đặn ngày góp phần phát hầu hết khiếm khuyết trình sản xuất Việc kiểm tra trực quan hầu hết thực thủ cơng, địi hỏi diện công nhân ngoại quan đánh giá thực theo đào tạo kiến thức nhận từ trước Mắt thường là yếu tố then chốt việc kiểm tra trực quan thủ công, nhiên theo nghiên cứu việc lọt lõi tiến hành theo phương pháp dao động từ 20% ~ ` Hình ảnh 3.5 Đăng ký Main Pattern Hình ảnh 3.6 Đăng ký Sub Pattern Hình ảnh 3.7 Đăng ký Sub Pattern 45 ` • Chọn vùng ROI cần xử lý • Chọn hai điểm Sub Pattern để tìm độ lệch theo góc ø ảnh so với ảnh gốc( origin) Ø = arctan[( X2 – X1)/( Y2 – Y1)] • Chọn Main Pattern để tìm độ lệch theo trục X, Y ảnh LIVE so với ảnh ORIGIN Offset_X = X3 – X1 Offset_Y = Y3 – Y1 Hình ảnh 3.8 Điểm đăng ký ngoại lệ dùng làm đặc tính hình ảnh Bước 3: Chụp hình ảnh live, tiền xử lý ảnh… Sau chụp ảnh live việc ta cần phải tiền xử lý ảnh live tương tự ảnh gốc: - Chuyển đổi ảnh thành ảnh xám - Tiến hành lọc nhiễu, lọc biên đặc tính hình ảnh sử dụng lọc Median - Đăng ký ngoại lệ tọa độ lỗ chân không, vết xước cố định thuật tốn tìm biên Candy 46 ` Sau ta cần, xác nhận lại vùng ROI( read of image) ảnh live trình chụp ảnh bị xoay góc nhỏ, góc lệc làm sai lệch giá trị tính tốn Hình ảnh 3.9 Ảnh live chưa xác định vùng ROI Dựa vào điểm Pattern đăng ký sẵn ta xác định góc Ø ảnh live: Ø’ = arctan[( X2 – X1)/( Y2 – Y1)] Góc xoay ảnh live so với ảnh gốc( ogirin) tính cơng thức: ∆Ø: = Ø – Ø’ Sử dụng thuật toán xoay ảnh theo góc ∆Ø sau dịch chuyển( shift) ảnh theo giá trị OFFSET tính tốn ban đầu ta tìm vị trí gốc P˳(X0, Y0) vùng ROI X0 = X3 - Offset_X Y0 = Y3 Offset_Y Sau xác định xác vùng ROI cho ảnh ta tiến hành tiền xử lý ảnh live: 47 ` Bước 4: Xử lý ảnh dùng giải thuật Template matching Subtract Background < giải thích> Hình ảnh 3.10 Giải thích ý tưởng thuật tốn Bước 5: Đưa điểm nghi ngờ dị vật So sánh tọa độ đặc tính thu ảnh live ảnh gốc để tìm tọa độ đặc tính khác Các tọa độ thu nghi ngờ dị vật Bước 6: Phát cảnh báo( Alarm) từ thiết bị - Confirm Nếu Vision camera tìm điểm nghi ngờ dị vật stage tiến hành dừng khẩn cấp thiết bị phát chuông cảnh báo cho kỹ thuật viên nhanh chóng nắm bắt trạng Thơng qua hình hiển thị, hình ảnh stage kỹ thuật viên kiểm tra tính xác Visicon camera Nếu khơng phải dị vật bỏ qua, tiếp tục cho thiết bị hoạt động; dị vật tiến hành vệ sinh sau tiếp tục vận hành thiết bị 3.3 Kết thực tế mơ hình thiết bị thử nghiệm Sau tiến hành lắp đặt hệ thống khí thử nghiệm thuật toán cho kết tương đối xác với tỷ lệ phát dị vật với độ xác ~ 88.5%; thời gian xử lý ngắn ( 0.1 ~ 0.2s chu trình) khơng ảnh hưởng tới 48 ` tacttime chung tồn cơng đoạn sản xuất Dưới hình ảnh mơ hình thiết bị thử nghiệm kết kiểm chứng thực tế: Hình ảnh 3.11 Hình ảnh 3.12 Thiết bị đánh giá chương trình vision dị vật Jig Mơ hình thiết kế vị trí đặt camera Jig kiểm tra dị vật 49 ` Kết thực nghiệm kiểm chứng 50 sản phẩm: Panel Kết No check OK OK OK NG OK OK OK OK OK 10 OK 11 OK 12 OK 13 OK 14 OK 15 OK 16 OK 17 OK 18 OK 19 OK 20 OK 21 OK 22 OK 23 OK 24 OK 25 OK Hình ảnh NG Kích thước dị vật 0.92 x 0.4 mm 50 ` 26 OK 27 OK 28 NG 29 OK 30 OK 31 OK 32 OK 33 OK 34 OK 35 OK 36 OK 37 OK 38 OK 39 OK 40 OK 41 OK 42 OK 43 OK 44 OK 45 OK 46 OK 47 OK 48 OK 49 OK 50 NG 0.45 x 0.26 mm 0.5 x 0.5 mm 51 ` Tỷ lệ xác theo ngày: Day Input Qty NG Qty Confirm result Rate 1568 15 13 86.7% 2314 22 19 86.4% 2136 21 18 85.7% 1997 13 12 92.3% 2712 19 16 84.2% 1365 7 100.0% 2001 29 27 93.1% 2452 31 28 90.3% 965 12 11 91.7% 10 1544 13 10 76.9% Ave 19054 182 161 88.5% Tỷ lệ xác Vision camera ~ 88.5% sau kiểm chứng mười ngày liên tiếp với số lượng sản phẩm 19054 So sánh hiệu với số phương án quản lý thực Dưới bảng so sánh hiệu sau thời gian áp dụng Vision camera hệ thống giám sát chất lượng Panel mơ hình thiết bị thử nghiệm so với phương pháp giám sát chất lượng thông thường Các phương pháp bao gồm: Không quản lý: chất lượng mặc định kiểm soát tốt phận kiểm soát chất lượng đầu vào( IQC), khơng có lọt lỗi dị vật, tất Panel vào thiết bị không cần quản lý chất lượng, phép chạy thẳng kiểm tra tỷ lệ lỗ phát sinh công đoạn Monitoring( quản lý theo chu kỳ): thiết bị quản lý hệ thống cảnh báo thủ công, yêu cầu kỹ thuật viên kiểm tra stage lần, vệ sinh sẽ, phương thức quản lý truyền thống phụ thuộc vào ý thức người hiệu phụ thuộc lớn vào kỹ thuật viên Việc kiểm tra theo chu kỳ ngắn hiệu cao thời gian dừng chờ tăng lên ảnh hưởng lớn tới sản lượng nhà máy Hơn nữa, phương pháp 52 ` phụ thuộc vào người nên mức độ tin cậy hiệu hạn chế( số liệu tham khảo bảng bên dưới) Camera Vision( ứng dụng xử lý ảnh kiểm tra tất chu trình sản phẩm), phương pháp đề cập đề tài, tự động kiểm tra phát dị vật stage camera vision sau đưa cảnh báo tự động nhằm thông báo cho kỹ thuật viên xử lý thời điểm phát sinh Có thể thấy phương pháp hồn tồn tự động, kiểm soát 24 liên tục với độ xác cao mà khơng cần có xuất người Bất dị vật phát sinh dù với tần suất liên tục hay kiểm soát cách chặt chẽ Bảng so sánh phương pháp sử dụng camera vision với phương pháp giám sát chất lượng truyền thống: Phương pháp Không quản lý quản lý Nội dung < 1.2018 ~ 6.2018> Monitoring Camera Vision < 7.2018 ~ < 6.2019 ~ 12.2018> 9.2019> - Dị vật mặc định - Áp dụng quản lý - Áp dụng quản lý kiểm soát hệ thống dị vật Jig, Panel công đoạn IQC Cleaning Jig 4h/ tất sản phẩm - Khi input vào thiết lần - Tự động hóa bị khơng quản lý - Sau 4h quy trình kiểm dị vật không Cleaning tra, phát - Jig Panel Jig interlock kiểm tra vệ sinh theo chu kỳ PM/ Cleaning.( tuần lần) Tần suất kiểm tra Tự động hóa tuần lần tuần lần < ~ 20,000 ea / lần> < ~ 600 ea / lần> Manual Manual ea / lần Auto 53 ` Độ xác Tỷ lệ lỗi < %> N/A N/A 88.50% 0.38% 0.19% 0.03% 4.1 2.1 Số vụ tai nạn chất lượng trung bình < vụ / tháng> Một số hình ảnh liên quan tới kết thực nghiệm: Hình ảnh 3.13 Kết thực nghiệm phát xác dị vật kích thước 0.2mm 54 ` Thêm số hình ảnh kết thực tiễn: Hình ảnh 3.14 Hình ảnh 3.15 Jig khơng có dị vật Kết Vision Jig khơng có dị vật: OK 55 ` Hình ảnh 3.16 Jig có dị vật bị phát Vision camera Hình ảnh 3.17 Jig có dị vật bị phát Vision camera Kết luận chương III: Trên sở thiết kế hệ thống khí( hardware) xậy dựng chương II, chương III tiếp tục hồn thiện thành cơng hệ thống điều khiển( software) dựa thuật toán xử lý ảnh Kết thu khả quan có tính áp dụng thực tiễn cao độ xác thuật toán sau xác nhận lên tới 88.5% thời gian xử lý trung bình sản phẩm kéo dài 0.1 ~ 0.2s Hiệu mặt chất lượng sau thời gian áp dụng tốt, lỗi dị vật gây giảm từ 0.38% 0.03% khơng cịn cố dị vật gây suốt thời gian hoạt động chương trình Tuy nhiên chưa có phương án xử lý tự động trường hợp phát dị vật, cần đánh giá thêm tính tự động vệ sinh stage khí thổi để tối thiểu hóa thời gian dừng chờ xử lý 56 ` KẾT LUẬN Trong trình thực đề tài với hướng dẫn tận tình thầy hướng dẫn tốt nghiệp TS Đặng Thái Việt( môn Cơ điện tử, viện Cơ khí, đại học Bách Khoa Hà Nội) giúp đỡ tạo điều kiện công ty TNHH Samsung Display Vietnam( theo chương trình hợp tác đào tạo thạc sỹ khóa 2018-2020) tơi hồn thành nội dung đề tài theo tiến độ đề đạt kết định mặt thực tiễn áp dụng Cụ thể: - Xây dựng thành công hệ thống phần cứng vision kiểm tra dị vật bề mặt stage - Xây dựng thành công tối ưu phần mềm chương trình vision kiểm dị vật bề mặt stage - Hệ thống hoạt động yêu cầu đặt ra: Phát dị vật bề mặt stage đưa cảnh báo tới kỹ thuật viên kịp thời dừng thiết bị phát có dị vật - Chương trình vision phát dị vật có kích thước lớn 0.2mm, áp dụng thực tế bắt dị vật lớn 0.3 mm( mức độ gây lỗi sản phẩm) - Thời gian xử lý nhanh nằm tact time sản xuất nhà máy, không ảnh hưởng đến sản lượng sản xuất thiết bị - Tính xác triển khai thực tế chương trình đạt 88.5% - Chương trình giao tiếp xác với chương trình PLC thiết bị không phát lỗi giao tiếp suốt trình sử dụng thử nghiệm nhà máy Trong thời gian tới tiếp tục tìm hiểu thêm thuật tốn xử lý ảnh (machine learning…) để tối ưu phát triển nâng cao tính chinh xác chương trình Ngồi tiếp tục lên kế hoạch để mở rộng vai trò vision computer vai trò giám sát chất lượng không với đối tượng dị vật mà cịn phát thêm đối tượng lỗi khác Crack( vết đứt, gãy), Scratch( vết xước), Shrinkage( vết đâm vùng cạnh sản phẩm),…Bên cạnh phát triển hệ thống tự động xử lý vấn đề thay cho kỹ thuật viên( tự động vệ sinh thấy dị vật sử dụng khí thổi, bàn chải,…) 57 ` TÀI LIỆU THAM KHẢO [1] Huasheng Zhu, Jiner Lei, Xiumei Tian "A pattern recognition system based on computer vision - The method of Chinese chess recognition", 2008 IEEE International Conference on Granular Computing, IEEE, 2008Aug [2] Nguyễn Đình Đăng, Tạp chí mỹ thuật nhiếp ảnh số 11/2013 pp 22-27, số 12/2013 pp 22-28, số 1+2/2014 pp 89-95 [3] Richard Szeliski (30 September 2010) Computer Vision: Algorithms and Applications Springer Science & Business Media [4] Danial Lelis Baggio, “Mastering OpenCV with Practical computer vision projects”, Pactk Pulishing 2012, pp 148-170 [5] Danial Lelis Baggio, “Mastering OpenCV with Practical computer vision projects”, Pactk Pulishing 2012, pp 231-266 [6] J W Schoonahd; J D Gould; L A Miller (July 1973), "Studies of Visual Inspection", Ergonomics, Taylor & Francis, pp 365–379 [7] Micheal Beyeler, “Machine learning for OpenCV”, Pactk Pulishing 2017, pp 101 [8] Lilian pierson( 2nd edition), “Data science for Dummies”, John Wiley & Sons, Inc [9] OpenCV, “Real-time computer vision with OpenCV”, https://opencv.org/ [10] Lim K, Hong Y, Choi Y, Byun H (2017), “Real-time traffic-sign recognition based on a general-purpose GPU and deep learning”, [11] Eichner, M.; Breckon, T (2008) "Integrated speed limit detection and recognition from real-time video" [12] M Holte ,T Moeslund, P Fihl “Fusion of range and intensity information for view invariant gesture recognition,” In Proc of the IEEE Computer Society Conf on CVPR Workshops, 2008, pp 1~7 [13] J R Parker (2011), “ Algorithms for Image Processing and Computer Vision”, 2nd edidtion 58 ` [14] Sadhna Sharma, "Template Matching Approach for Face Recognition System", International Journal of Signal Processing Systems Vol 1, No December 2013 [15] M Piccardi, "Background subtraction techniques: a review", 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat No.04CH37583) [16] Gregor Miller ; Sidney Fels ; Steve Oldridge, "A Conceptual Structure for Computer Vision", 2011 Canadian Conference on Computer and Robot Vision 59 ... đặt hệ thống giám sát chất lượng Panel thông qua việc phát đưa cảnh báo xuất dị vật Stage( bàn chân không đặt Panel) ? ?Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel? ??... nghiệp 4.0 ứng dụng xử lý ảnh triển khai vô mạnh mẽ nhiều lĩnh vực ứng dụng quản lý giao thông đô thị[4], ứng dụng quản lý liệu sinh trắc học[5], ứng dụng hệ thống giám sát chất lượng, hệ thống nhận... định cao Để ứng dụng xử lý ảnh vào hệ thống giám sát chất lượng cần áp dụng nhiều kiến thức lý thuyết liên quan tới việc tiền xử lý ảnh thuật toán so sánh hình ảnh Chương hai xây dựng hệ thống khí(