Ứng dụng xử lý ảnh phát hiện dị vật kích thước nhỏ trên jig nhằm giảm hạn chế lỗi công đoạn trong môi trường phòng sạch tại công ty tnhh samsung display việt nam

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh phát dị vật kích thước nhỏ Jig nhằm giảm hạn chế lỗi cơng đoạn mơi trường phịng Cơng ty TNHH Samsung Display Việt Nam LÊ THÀNH TUÂN thanhtuan.1169@gmail.com Ngành: Điện tử viễn thông Giảng viên hướng dẫn: PGS TS Nguyễn Tiến Dũng Viện: Điện tử - Viễn Thông HÀ NỘI, 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh phát dị vật kích thước nhỏ Jig nhằm giảm hạn chế lỗi cơng đoạn mơi trường phịng Công ty TNHH Samsung Display Việt Nam LÊ THÀNH TUÂN thanhtuan.1169@gmail.com Ngành: Điện tử viễn thông Giảng viên hướng dẫn: PGS TS Nguyễn Tiến Dũng Viện: Điện tử - Viễn Thông HÀ NỘI, 2020 Chữ ký GVHD LỜI CẢM ƠN Đầu tiên, xin gửi lời cảm ơn sâu sắc tới Thầy giáo - PGS TS Nguyễn Tiến Dũng - Giảng viên, Viện Điện tử - Viễn thông, Trường Đại học Bách Khoa Hà Nội hướng dẫn cho tơi lời khun q trình thực luận văn Tiếp theo, xin chân thành cảm ơn thầy cô Viện Điện tử - Viễn thông, Viện đào tạo sau đại học, Trường Đại học Bách Khoa Hà Nội tạo điều kiện cho tơi suốt q trình học tập nghiên cứu trường Cuối cùng, tơi xin bày tỏ lịng cảm ơn tới người thân gia đình, bạn bè động viên giúp đỡ để tơi hồn thành luận văn Hà Nội, ngày… tháng… năm 2020 Tác giả LVThS Lê Thành Tuân i MỤC LỤC LỜI CẢM ƠN i THUẬT NGỮ TIẾNG ANH SỬ DỤNG TRONG LUẬN VĂN iv DANH MỤC BẢNG BIỂU viii MỞ ĐẦU CHƢƠNG I: DỊ VẬT TRONG SẢN XUẤT MÀN HÌNH OLED VÀ ỨNG DỤNG THỊ GIÁC MÁY TÍNH 1.1 Giới thiệu công nghệ OLED công đoạn CP công ty Samsung Display Việt Nam 1.1.1 Tổng quan hình OLED 1.1.2 Cấu tạo hình OLED 1.1.3 Giới thiệu công đoạn CP 1.2 Tổng quan dị vật thiết bị CP lỗi chất lƣợng hình OLED phát sinh dị vật 1.2.1 Tổng quan dị vật thiết bị CP 1.2.2 Nguyên nhân phát sinh dị vật thiết bị CP 1.2.3 Các lỗi chất lượng hình OLED phát sinh dị vật 1.3 Tổng quan thị giác máy tính ứng dụng nhà máy sản xuất 1.3.1 Tổng quan thị giác máy tính 1.3.2 Tổng quan xử lý ảnh 10 1.3.3 Ứng dụng thị giác máy tính nhà máy sản suất 14 1.4 Kết luận chƣơng 17 CHƢƠNG 2: TỔNG QUAN CÁC KỸ THUẬT XỬ LÝ ẢNH 18 2.1 Đối sánh mẫu 18 2.2 Phát Blob 22 2.3 Kỹ thuật so sánh ảnh 27 2.4 Kĩ thuật lấy ngƣỡng ảnh chuyển sang hình ảnh Binary 27 2.5 Kết luận chƣơng 30 CHƢƠNG III: XÂY DỰNG THUẬT TOÁN XỬ LÝ ẢNH PHÁT HIỆN DỊ VẬT TRÊN BỀ MẶT JIG 31 3.1 Sơ đồ khối hệ thống 31 ii 3.1.1 Template matching lấy vùng ảnh cần xử lý 32 3.1.2 Trừ ảnh – so sánh ảnh với ảnh gốc 35 3.1.3 Threshold lấy ngưỡng 35 3.1.4 Tạo Masking 38 3.2 Thiết kế phần cứng công cụ OpenCV 40 3.2.1 Các linh kiện sử dụng hệ thống 40 3.2.2 OPENCV 43 3.3 Kết luận chƣơng 46 CHƢƠNG IV: KẾT QUẢ ĐẠT ĐƢỢC VÀ ĐÁNH GIÁ 47 4.1 Kết đạt đƣợc 47 4.1.1 Xây dựng hệ thống phần cứng 47 4.1.2 Xây dựng thành công phần mềm vision kiểm tra dị vật jig 48 4.2 Đánh giá 53 4.2.1 Kiểm chứng kích thước dị vật bắt 53 4.2.2 Kiểm chứng bắt nhiều số lượng dị vật kích thước lớn 0.3mm 55 4.2.3 Kiểm chứng chương trình chạy liên tục dị vật phát sinh ngẫu nhiên 56 4.2.4 Tỷ lệ xác theo ngày 59 4.2.5 So sánh hiệu sau thời gian áp dụng vision camera check dị vật 60 4.2.6 Một số kết mô 61 4.3 Kết luận chƣơng 65 TÀI LIỆU THAM KHẢO 67 iii THUẬT NGỮ TIẾNG ANH SỬ DỤNG TRONG LUẬN VĂN Tiếng Anh ABS Affine-adapted differential blob detectors Tiếng Việt Tên vật liệu làm khay đựng sản phẩm Phát đối tượng theo vi sai thích nghi với biến đổi affine AI - Artificial Intelligence Trí tuệ nhân tạo Blob Object - Đối tượng Camera Máy ảnh Camera vision Thị giác camera Controller Bộ điều khiển FAB Tên công đoạn sản xuất Flexible Dẻo Grey-level blobs, grey-level blob trees đôi tượng mức xám đối tượng mức and scale-space blobs xám, đối tượng quy mô không gian Image Acquisition Phần thu nhận ảnh Image Processing Tiền xử lý Image Recognition and Interpretation Nhận dạng nội suy ảnh () Image Representation Biểu diễn ảnh Jig/jig Bàn để đặt panel Knowledge Base Cơ sở tri thức Lindeberg's watershed-based grey-level thuật toán phát đối tượng mức xám blob detection algorithm dựa thuật toán lưu vực Lindeberg Masking Tạo mặt nạ Organic Light-Emitting Diode Đi-ốt hữu tự phát quang Panel Tấm hình Pixel Điểm ảnh Resolution Độ phân giải ảnh iv Rigid Màn hình kính Scope of Study Giới hạn toán/nghiên cứu Segmentation Phần vùng ảnh Spatio-temporal blob detectors Phát đối tượng Template matching Đối sánh mẫu The determinant of the Hessian Định thức Hessian The difference of Gaussians approach Phương pháp sai lệch Gaussian The hybrid Laplacian and determinant of Phép lai toán tử Laplacian định the Hessian operator thức Hessian Threshold hole Ngưỡng lỗ Thresholding Lấy ngưỡng Vacuum hole Lỗ khí chân khơng v DANH MỤC HÌNH ẢNH Hình ảnh 1 Cấu tạo loại hình OLED Hình ảnh Cấu trúc màn hình loại hình OLED Hình ảnh Công đoạn CP nhà máy sản xuất hình OLED Hình ảnh Một số dị vật thiết bị CP Hình ảnh Dị vật từ nguyên vật liệu Hình ảnh Một số Dị vật thiết bị CP Hình ảnh Độ sâu màu sắc ảnh hiển thị tương ứng 14 Hình ảnh Ứng dụng đọc mã code sản phẩm 15 Hình ảnh Ứng dụng đọc mã code sản phẩm 15 Hình ảnh 10 Lịch sử hình thành Deep learning 16 Hình ảnh Ảnh lấy threshold 28 Hình ảnh : Sơ đồ lắp đặt hệ thống 31 Hình ảnh Bắt điểm mark để xác định vùng ảnh cắt 33 Hình ảnh 3 Tìm vùng ảnh cần kiểm tra 33 Hình ảnh Cắt vùng ảnh cần kiểm tra 34 Hình ảnh Ảnh sau trừ ảnh so sánh cho ảnh gốc 35 Hình ảnh Ảnh sau lọc lấy vacuum holes 39 Hình ảnh Ảnh blob băt vacuum holes 39 Hình ảnh Masking vị trí vacuum hold 40 Hình ảnh Ảnh kết quqr phân tích sau loại bỏ vị trí vaccum hold masking 40 Hình ảnh 3.6 a Ảnh phân tích với threshold = 10 36 Hình ảnh 3.6 b Ảnh phân tích với threshold = 20 36 Hình ảnh 3.6 c Ảnh phân tích với threshold = 30 37 Hình ảnh 3.6 d Ảnh phân tích với threshold = 40 37 Hình ảnh 3.6 e Ảnh phân tích với threshold = 50 38 Hình ảnh Hệ thống thực tế thiết bị CP 47 Hình ảnh Giao diện Auto chương trình 49 Hình ảnh Vùng hiển thị ảnh phân tích giao diện auto 50 vi Hình ảnh 4 Giao diện Teach chương trình 51 Hình ảnh Giao diện Data chương trình 52 Hình ảnh Giao diện Camera chương trình 53 Hình ảnh Kết mô 62 Hình ảnh Kết mô 63 Hình ảnh Kết mơ 64 vii DANH MỤC BẢNG BIỂU Bảng Các linh kiện sử dụng hệ thống 41 Bảng Thống số kỹ thuật camera 41 Bảng Kết kiểm chứng khả bắt dị vật theo kích thước 54 Bảng Kết kiểm chứng khả phát dị vật theo màu sắc số lượng 55 Bảng Kết test thử nghiệm 50 mẫu 57 Bảng 4 Tỷ lệ phát xác dị vật 10 ngày 59 Bảng So sánh phương pháp quản lý dị vật thiết bị 61 viii Bảng Kết kiểm chứng khả bắt dị vật theo kích thước Kích thước dị vật Kết phát dị vật 100um ~200um 0/10 mẫu 200um ~300um 4/10 mẫu 300um ~400um 10/10 mẫu 400um ~500um 10/10 mẫu >500um 10/10 mẫu Hình ảnh dị vật (sampling) Chương trình phát 100% dị vật có kích thước lớn 0.3mm Các dị vật có kích thước nhỏ chưa thể bắt phần độ phân giải camera giới hạn Trong tương lai tiếp tục cải tiến hệ thống với camera có độ phân giải lớn để cải thiện hiệu chương trình 54 4.2.2 Kiểm chứng bắt nhiều số lượng dị vật kích thước lớn 0.3mm Kịch test: Lấy ảnh jig làm ảnh tham chiếu, sau thả dị vật có kích thước lớn 0.3mm lên bề mặt jig chạy chương trình vision để kiểm chứng số lượng dị vật jig chương trình phát Các dị vật có màu đen trắng ngẫu nhiên để đồng thời kiểm tra khả phát dị vật theo màu sắc chương trình vision Mỗi số lượng dị vật test 10 lần jig với 10 vị trí ngẫu nhiên khác dị vật Bảng tổng hợp kết nhận được: Bảng Kết kiểm chứng khả phát dị vật theo màu sắc số lượng Số lượng dị vật Kết Hình ảnh Màu dị vật Phát 1/1 dị vật Đen (10/10 mẫu) Phát 2/2 dị vật Đen (10/10 mẫu) Phát 3/3 dị vật Đen trắng (10/10 mẫu) 55 Phát 4/4 dị vật Đen trắng (10/10 mẫu) Phát 5/5 dị vật Đen trắng (10/10 mẫu) Phát Lớn 100 số lượng dị vật di vật (10/10 Đen trắng mẫu) Yêu cầu tốn phát có dị vật Jig tiến hành cảnh báo Kết cho thấy chương trình đáp ứng u cầu tốn bắt tồn dị vật có kích thước lớn 0.3mm có jig gửi tín hiệu đến PLC phát cảnh báo dừng thiết bị Bên cạnh dị vật với màu sắc đen-trắng có kích thước lớn 0.3um chương trình có khả phát 4.2.3 Kiểm chứng chương trình chạy liên tục dị vật phát sinh ngẫu nhiên Kịch bản: Để dị vật ngẫu nhiên số lượng nguyên vật liệu (panel) trước input vào thiết bị Khi panel đưa vào máy tự động, số dị vật dính lên mặt panel rơi jig Mục đích kiểm chứng khả hoạt động hệ thống chương trình điều kiện chạy sản xuất thực tế phát cảnh báo có dị vật jig hay khơng Bảng kết kiểm chứng với 50 panel ngẫu nhiên chạy vào máy 56 Bảng Kết test thử nghiệm 50 mẫu Jig Test no Kết OK OK OK OK OK OK NG OK OK 10 OK 11 OK 12 OK 13 OK 14 OK 15 OK 16 OK 17 OK 18 NG Hình ảnh dị vật Kích thước dị vật 0.57 x 0.67 mm 0.33 x 0.56mm 57 19 OK 20 OK 21 OK 22 OK 23 OK 24 OK 25 OK 26 OK 27 OK 28 OK 29 OK 30 OK 31 OK 32 OK 33 OK 34 OK 35 OK 36 OK 37 OK 38 OK 39 OK 40 OK 41 OK 42 OK 0.49 x 0.41mm 58 43 OK 44 OK 45 OK 46 OK 47 OK 48 OK 49 OK 50 OK Chương trình bắt 100% mẫu dị vật tiến hành phát cảnh báo dừng thiết bị phát có dị vật jig có kích thước lớn 0.3mm bị đưa vào thiết bị theo panel 4.2.4 Tỷ lệ xác theo ngày Tiến hành setup hệ thống thiết bị kiểm tra kết phát dị vật 10 ngày liên tiếp Kết quả: tỷ lệ bắt xác dị vật theo chương trình vision khoảng 90,64% sau kiểm chứng 10 ngày liên tiếp với số lượng sản phầm 83696pcs Bảng 4 Tỷ lệ phát xác dị vật 10 ngày Day Số lượng sản suất Số lần Alarm NG 9854 Số lần comfirm Tỷ lệ NG 22 19 86.36% 8735 18 17 94.44% 5384 12 11 91.67% 7457 23 22 95.65% 9345 14 12 85.71% 8554 10 10 100.00% 9812 14 13 92.86% 8746 20 18 90.00% 6352 11 10 90.91% bắt 59 10 9457 Ave 83696 27 23 85.19% 171 155 90.64% 9.36% cảnh báo sai ánh sáng chiếu lên jig bị thay đổi nhiều camera chụp ảnh jig ánh sáng bên thiết bị (jig bị soi đèn pin) jig bị rung động mạnh vào vị trí chụp ảnh (vì động jig hoạt động không ổn định) 4.2.5 So sánh hiệu sau thời gian áp dụng vision camera check dị vật Cho đến trước chương trình vision áp dụng để đưa vào quản lý việc phát sinh dị vật bề mặt jig có vào phương pháp quản lý khác áp dụng nhà máy sản xuất hình OLED Tuy nhiên phương pháp hầu hều phương pháp thủ công bán thủ công nên bị hạn chế phụ thuộc người khơng kiểm soát 100% sản lượng thiết bị Khi áp dụng chương trình vision kiểm tra dị vật chúng tơi vào sản xuất khắc phục hồn tồn nhược điểm phương pháp trước áp dụng Dưới bảng so sánh chi tiết khác biệt phương pháp quản lý dị vật jig áp dụng nhà máy sản xuất hình OLED: Bảng So sánh phương pháp quản lý dị vật thiết bị Camera vision Phương pháp Không quản lý Monitoring quản lý (1/2018 ~ 6/2018) (8/2018 ~ 2/2019) - Dị vật kiểm soát từ nguyên vật liệu - Áp dụng quản lý cleaning Jig hệ input Nội dung - Không quản lý dị vật thống thiết 4hr/1 lần bị - Khi clean xong - Jig kiểm tra chụp ảnh update cleaning theo chu kỳ lên hệ thống PM (4 ngày/ lần) ( 6/2019 ~ 10/2019) - Áp dụng kiểm tra dị vật Jig tất sản phẩm - Tự động hóa quy trình kiểm tra cảnh báo 60 Tần suất kiểm tra Phương thức vận hành Độ xác Tỷ lệ lỗi liên quan (Lỗi đâm dị vật) Số cố phát sinh dị vật Jig ngày / lân 4hr / lần 1ea / lần Manual Manual Auto N/A N/A 90% 0.42% 0.18% 0.02% 5.2 2.1 Bảng So sánh phương pháp quản lý dị vật thiết bị Có thể thấy, ngồi việc chi phí đầu tư ban đầu chương trình vision kiểm tra dị vật jig có ưu điểm vượt trội hồn tồn phương pháp thủ công bán thủ công trước áp dụng việc quản lý việc phát sinh dị vật jig thiết bị sản xuất 4.2.6 Một số kết mơ Kết Chương trình phát dị vật khoanh vùng đánh dấu vị trí dị vật ảnh kết Chương trình phát dị vật mày đen Jig hiển thị kích thước, vị trí dị vật 61 Ảnh tham chiếu Ảnh kiểm tra Kết Hình ảnh Kết mơ 62 Kết 2: Chương trình phát dị vật khoanh vùng đánh dấu vị trí dị vật ảnh kết Ảnh tham chiếu Ảnh kiểm tra Ảnh Kết Hình ảnh Kết mơ 63 Kết Chương trình phát dị vật khoanh vùng đánh dấu vị trí dị vật ảnh kết Chương trình phát 02 dị vật Jic, dị vật có màu đen dị vật màu trắng Hai dị vật phát đo đánh dấu vị trí kích thước hiển thị giao diện Ảnh tham chiếu Ảnh kiểm tra Kết Hình ảnh Kết mô 64 4.3 Kết luận chƣơng Chương tác giả trình bày tất kết đạt đề tài Đề tài xây dựng thành công hệ thống phần cứng thiết bị máy CP dây truyền sản xuất Hệ thống hoạt động trơn chu giao tiếp PLC với hoạt động bình thường thiết bị Phần mềm phát triển đứng với mục đích ban đầu đề tài kiểm trứng liệu tổng hợp trình hoạt động thiết bị khả bắt dị vật kích thước nhỏ, bắt nhiều dị vật lưc, bắt dị vật đen trắng Phần mềm hoạt động với độ xác xấp sỉ 90% Tuy nhiên phần mềm cần kiểm chứng thêm độ tin cậy Tác giả tiếp tục kiểm tra thêm thời gian tới phần mềm hoạt động thiết bị Hạn chế định hướng phát triển đề tài Hạn chế:  Chương trình phát dị vật có kích thước lớn 0.3mm mà chưa thể phát dị vật có kích thước nhỏ  ~10% chương trình phát nhầm dị vật (cảnh báo ảo) ánh sáng từ môi trường người lại ảnh hưởng đến ánh sáng chiến bề mặt jig tạo ảnh bị ánh sáng bất thường  Chương trình phát triển loại thiết bị ( máy CP) phần cứng phụ thuộc vào không gian máy khác Hướng phát triển:  Tìm hiểu áp dụng thêm Machine learning để tăng cường tối ưu chương trình  Kiểm chứng chương trình với loại Camera có độ phân giải cao lens khác để phát dị vật có kích thước nhỏ 0.3mm  Tối ưu hóa phương pháp chiếu sáng để hạn chế tối đa ảnh hưởng anh sáng môi trường gây phá nhầm dị vật jig  Mở rộng ứng dụng chương trình cho thiết bị khác nhà máy dự vào việc linh hoạt hóa phần cứng phần mềm thích ứng với loại thiết bị nhà máy sản xuất 65 KẾT LUẬN Trong trình thực đề tài với hướng dẫn tận tình Thầy PGS.TS Nguyễn Tiến Dũng giúp đỡ tạo điều kiện công ty TNHH Samsung Display Vietnam hoàn thành nội dung đề tài kịp tiến độ đạt yêu cầu đề tài đặt Cụ thể:  Xây dựng thành công hệ thống phần cứng vision kiểm tra dị vật bề mặt jig  Xây dựng thành công tối ưu phần mềm chương trình vision kiểm dị vật bề mặt jig  Hệ thống hoạt động yêu cầu đặt ra: Phát dị vật bề mặt jig đưa cảnh báo dừng thiết bị  Chương trình vision phát dị vật có kích thước lớn 0.3mm  Thời gian xử lý nhở 70ms, không ảnh hưởng đến sản lượng sản xuất thiết bị  Tính xác triển khai thực tế chương trình ~90%  Chương trình giao tiếp hiệu nhịp nhàng với chương trình PLC thiết bị Trong thời gian tới tơi tiếp tục tìm hiểu thêm thuật toán xử lý ảnh (machine learning…) để tối ưu phát triển nâng cao tính chinh xác chương trình 66 TÀI LIỆU THAM KHẢO [1] R Brunelli, Template Matching Techniques in Computer Vision: Theory and Practice, Wiley, ISBN 978-0-470-51706-2, 2009 ([1]TM book) [2] T Lindeberg (1993) "Detecting Salient Blob-Like Image Structures and Their Scales with a Scale-Space Primal Sketch: A Method for Focus-of-Attention" (abstract page) International Journal of Computer Vision 11 (3): 283–318 doi:10.1007/BF01469346.T Lindeberg (1994) Scale-Space Theory in Computer Vision Springer ISBN 978-0-7923-9418-1 [3] R Brunelli, Template Matching Techniques in Computer Vision: Theory and Practice, Wiley, ISBN 978-0-470-51706-2, 2009 ([1] TM book)^ Aksoy, M S.; Torkul, O.; Cedimoglu, I H (2004) "An industrial visual inspection system that uses inductive learning" Journal of Intelligent Manufacturing 15 (4): 569–574 doi:10.1023/B:JIMS.0000034120.86709.8c.^ Kyriacou, Theocharis, Guido Bugmann, and Stanislao Lauria "Vision-based urban navigation procedures for verbally instructed robots." Robotics and Autonomous Systems 51.1 (April 30, 2005): 69-80 Expanded Academic ASAP Thomson Gale [5] Zhang, Y (2011) "Optimal multi-level Thresholding based on Maximum Tsallis Entropy via an Artificial Bee Colony Approach" Entropy 13 (4): 841–859 Bibcode:2011Entrp 13 841Z doi:10.3390/e13040841.^ E., Umbaugh, Scott (201711-30) Digital Image Processing and Analysis with MATLAB and CVIPtools, Third Edition (3rd ed.) [6] E., Umbaugh, Scott (2017-11-30) Digital Image Processing and Analysis with MATLAB and CVIPtools, Third Edition (3rd ed.) ISBN 9781498766074 OCLC 1016899766 [7] Mikolajczyk K and Schmid, C 2004 Scale & affine invariant interest point detectors International Journal on Computer Vision 60(1):63-86 [8] Russell & Norvig (2003) (who prefer the term "rational agent") and write "The whole-agent view is now widely accepted in the field" (Russell & Norvig 2003, p 55) 67 WEBSITE THAM KHẢO [1] https://vi.wikipedia.org/ [2] https://www.google.com/ [3] https://stackoverflow.com/ [4] http://www.ieev.org/2009/06/gaussian-blur.html [5] https://opencv.org/ [6] https://github.com/opencv/opencv [7] https://blog.vietnamlab.vn/ [8] https://www.nuget.org/packages/OpenCvSharp3-AnyCPU/ 68 ...TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh phát dị vật kích thước nhỏ Jig nhằm giảm hạn chế lỗi cơng đoạn mơi trường phịng Cơng ty TNHH Samsung Display Việt Nam LÊ... tự động phát dị vật bề mặt Jig ứng dụng nhận dạng ảnh nhằm ngăn ngừa cố phát sinh dị vật phịng - Nghiên cứu mơ hình lắp đặt mơ có khả ứng dụng phát triển nhà máy SamSung Display Việt Nam Đối... xử lý hình ảnh thu được, xác định xác dị vật phát sinh đưa cảnh báo cho kỹ thuật viên xử lý tình kịp thời Kích thước dị vật cần phát hiện: lớn 0.3 mm ( ~ 300 um) Thời gian xử lý tối đa hình ảnh: