Nội dung của luận văn trình bày về việc phát hiện dị vật nhằm loại bỏ trước khi dị vật gây ra lỗi trong quá trình sản xuất tấm nền Panel tại nhà máy sản xuất điện thoại hiện đại. Mục đích: Giảm thiểu một cách tối đa lỗi liên quan tới dị vật nhằm giảm chi phí phát sinh, tối đa hóa lợi nhuận, giảm giá thành sản phẩm. Mục tiêu luận văn thực hiện: Phát hiện dị vật sau đó đưa ra cảnh báo bằng cách sử dụng công cụ trong xử lý ảnh để đưa ra những phán đoán chính xác nhất về việc có hay không có dị vật trong quá trình sản xuất và đưa ra cảnh báo. Phương pháp thực hiện: Sử dụng thuật toán trừ ảnh( subtrack background) nhằm phát hiện các dị vật phát sinh mới trong quá trình sản xuất.
` TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel HỒNG ĐÌNH TUẤN tuan91.sdbn@gmail.com Ngành Cơ điện tử Giảng viên hướng dẫn: TS Đặng Thái Việt Chữ ký GVHD Viện: Cơ khí HÀ NỘI, 05/2020 ` Lời cảm ơn Đề tài “ Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel” nội dung chọn để nghiên cứu làm luận văn tốt nghiệp cao học chuyên ngành Cơ điện tử trường đại học Bách Khoa Hà Nội Tôi xin chân thành cảm ơn sâu sắc đến TS Đặng Thái Việt thuộc Bộ mơn Cơ Điện Tử, Viên Cơ Khí – Trường đại học Bách Khoa Hà Nội Thầy trực tiếp bảo hướng dẫn suốt trình nghiên cứu để tơi hồn thiện luận văn Ngồi xin chân thành cảm ơn Thầy, Cô Bộ mơn Cơ điện tử đóng góp ý kiến quý báu cho luận văn Trân trọng cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn trình bày việc phát dị vật nhằm loại bỏ trước dị vật gây lỗi trình sản xuất Panel nhà máy sản xuất điện thoại đại Mục đích: Giảm thiểu cách tối đa lỗi liên quan tới dị vật nhằm giảm chi phí phát sinh, tối đa hóa lợi nhuận, giảm giá thành sản phẩm Mục tiêu luận văn thực hiện: Phát dị vật sau đưa cảnh báo cách sử dụng công cụ xử lý ảnh để đưa phán đốn xác việc có hay khơng có dị vật trình sản xuất đưa cảnh báo Phương pháp thực hiện: Sử dụng thuật toán trừ ảnh( subtrack background) nhằm phát dị vật phát sinh q trình sản xuất Cơng cụ sử dụng: Microsoft Visual 2017, Office 2013, OpenCV… Kết đạt được: Thuật tốn đưa cảnh báo xác tới 88.5% Định hướng phát triển đề tài: Mở rộng phát lỗi khác đứt, gãy… Học viên Hoàng Đình Tuấn ` MỤC LỤC CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU 1.1.Đặt vấn đề 1.1.1 Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại 11 1.1.2 Ảnh hưởng dị vật tới chất lượng sản phẩm công đoạn dán 12 1.1.3 Lý lựa chọn đề tài 13 1.2 Lý thuyết xử lý ảnh ứng dụng thực tế 13 1.2.1 Không gian màu, chuyển đổi không gian màu 14 1.2.2 Ảnh nhị phân, nhị phân hóa với ngưỡng động 17 1.2.3 Phóng to, thu nhỏ, xoay ảnh 18 1.2.4 Một số phép toán sử dụng nội dung luận văn 19 1.3 Các thuật toán liên quan lựa chọn 25 1.3.1 Phương pháp tách (Background subtraction) 25 1.3.2 Phương pháp Template Matching 27 CHƯƠNG II: TÍNH TỐN THIẾT KẾ CƠ KHÍ 31 2.1 Cơ sở tính tốn lựa chọn Camera cho hệ thống giám sát chất lượng Panel 31 2.1.1 Thực nghiệm lựa chọn kích thước dị vật nhỏ cần phát 36 2.2 Thơng số thiết bị, vị trí lắp đặt Camera vẽ Jig Panel 38 CHƯƠNG III: THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN 44 3.1 Yêu cầu toán điều khiển 44 3.2 Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng Panel 45 3.3 Kết thực tế mô hình thiết bị thử nghiệm 51 TÀI LIỆU THAM KHẢO 60 ` Danh mục hình ảnh Hình ảnh 1.1 Hình ảnh 1.2 Hình ảnh 1.3 Hình ảnh 1.4 Hình ảnh 1.5 Hình ảnh 1.6 Hình ảnh 1.7 Hình ảnh 1.8 Hình ảnh 1.9 Hình ảnh 1.10 Hình ảnh 1.11 Hình ảnh 1.12 Hình ảnh 1.13 Hình ảnh 1.14 Hình ảnh 1.15 Các đường song song xuất trở thành dốc 10 Sơ đồ khối thiết bị dán Window với Panel 11 Cấu tạo hình OLED 12 Không gian màu RGB 15 Không gian màu YMC 16 Không gian màu HSV 17 Ảnh với giá trị threshold khác 18 Thuật tốn thu phóng ảnh 19 Thuật toán xoay ảnh 19 Phép giãn nở 20 Phép giãn nở 20 Gradient 22 Ví dụ phép tìm biên lọc Candy 23 Chuyển đổi Hough 24 Chuyển đổi Hough đường trịn 25 Hình ảnh 2.1 Hình ảnh 2.2 Hình ảnh 2.3 Hình ảnh 2.4 Hình ảnh 2.5 Hình ảnh 2.6 Hình ảnh 2.7 Hình ảnh 2.8 Hình ảnh 2.9 Hình ảnh 2.10 Thơng số thiết bị liên quan tới tính tốn khí 31 Lý thuyết camera vision 32 Sơ đồ thiết bị, vị trí lắp đặt Camera Vision cơng đoạn 38 Bản vẽ mô tả khu vực làm việc camera 39 Sơ đồ nguyên lý hoạt động hệ thống 39 Robot loading Panel từ Tray vào Panel Stage( Jig) 40 Step chu trình làm việc 40 Step chu trình làm việc 41 Step trường hợp phát sinh dị vật stage 42 Bản vẽ Jig chân không hút Panel 43 Hình ảnh 3.1 Sơ đồ lắp đặt hệ thống điều khiển 44 Hình ảnh 3.2 Sơ đồ thuật toán 46 Hình ảnh 3.3 Lọc tìm biên đặc tính Jig lọc Candy 47 Hình ảnh 3.4 Đăng ký ngoại lệ tọa vị trí đặc tính cố hữu Jig 47 Hình ảnh 3.5 Đăng ký Main Pattern 48 Hình ảnh 3.6 Đăng ký Sub Pattern 48 Hình ảnh 3.7 Đăng ký Sub Pattern 48 Hình ảnh 3.8 Các điểm đăng ký ngoại lệ dùng làm đặc tính hình ảnh 49 ` Hình ảnh 3.9 Ảnh live chưa xác định vùng ROI 50 Hình ảnh 3.10 Giải thích ý tưởng thuật tốn 51 Hình ảnh 3.11 Thiết bị đánh giá chương trình vision dị vật Jig 52 52 Hình ảnh 3.12 Mơ hình thiết kế vị trí đặt camera Jig kiểm tra dị vật 52 Hình ảnh 3.13 Kết thực nghiệm phát xác dị vật kích thước 0.2mm…………………………………………………………………………57 Hình ảnh 3.14 Jig khơng có dị vật 57 Hình ảnh 3.15 Kết Vision Jig khơng có dị vật: OK 58 Hình ảnh 3.16 Jig có dị vật bị phát Vision camera 58 Hình ảnh 3.17 Jig có dị vật bị phát Vision camera 58 ` LỜI NÓI ĐẦU Cuộc sống ngày đại gắn liền với tự động hóa, cơng nghệ số nhu cầu sử dụng thiết bị điện tử, sản phẩm công nghệ cao gắn liền với đời sống sinh hoạt người ngày nhiều Vì việc thiết kế, sản xuất liên tục cải tiến thiết bị điện, điện tử phục vụ nhu cầu sống hàng ngày người cần thiết không ngừng diễn quanh Những năm gần đây, nhờ sách mở cửa nhà nước nên công nghệ sản xuất, thiết bị đại phục vụ sản xuất tự động hóa nhập trực tiếp, nhận đầu tư lớn từ tập đồn cơng nghệ hàng đầu giới tăng lên đáng kể, đặc biệt phải kể tới tập đoàn lớn công nghệ đến từ Nhật Bản, Hàn Quốc, Trung Quốc… Hưởng lởi từ việc nhập linh kiện máy móc sản xuất thiết bị điện tử sản xuất nước với chi phí thấp tạo hội việc làm cho nhân lực nước, qua học hỏi, trau dồi công nghệ từ đối tác nước ngày trở nên thuận tiện Trong ngành sản xuất thiết bị điện tử nói chung ngành sản xuất hình, thiết bị sử dụng hình hiển thị ngày phát triển Việt Nam, đặc biệt theo xu hướng ngày hoàn thiện chất lượng sử dụng cao hướng tới nhu cầu cao thị trường Do đó, vấn đề kiểm soát tốt chất lượng sản phẩm trình sản xuất giúp giảm thiểu chi phí nhiều, giúp tăng tính cạnh tranh sản phẩm sản xuất nước nâng cao trình độ kỹ thuật nhân lực sản xuất lên cách đáng kể Hơn nữa, xu hướng công ty sản xuất hình thiết bị sử dụng hình ngày mỏng gập, uốn cong nhằm đáp ứng nhu cầu thị trường nên việc sản xuất hàng loạt phải đảm bảo chất lượng địi hỏi cơng đoạn giám sát chất lượng phải ngày xác nhanh Việc kiểm soát chất lượng sản phẩm cơng nhân ngoại quan khơng cịn đáp ứng nhu cầu sản xuất cần phải có cơng nghệ tiên tiến hỗ trợ để tăng cao độ xác giảm tối đa thời gian kiểm tra hàng lỗi, kịp thời xử lý trình sản xuất nhằm giảm tối đa thiệt hại thời gian sản xuất Một công nghệ tiên tiến hỗ trợ tốt cho quy trình giám sát chất lượng phát triển mạnh mẽ vài năm gần phải kể đến công nghệ ` Computer Vision( thị giác máy tính) Cơng nghệ phát triển tốt ứng dụng phù hợp hồn tồn thay người việc tự động phát lỗi nhỏ với thời gian nhanh việc kiểm sốt hồn tồn tự động camera ngày hoàn thiện cho phép phát vật thể với kích thước cực nhỏ mà mắt người khơng thể nhìn thấy Một yếu tố quan trọng, mang tính sống cịn cần giám sát cơng ty sản xuất hình đại dị vật, mơi trường sản xuất phịng dị vật có kích thước nhỏ khó kiểm sốt lọt vào quy trình sản xuất gây lỗi đặc tính cho sản phẩm Thơng qua hình thức kiểm sốt hình ảnh thời gian thực bẳng cách sử dụng camera có độ phân giải cao kết hợp với thuật tốn xử lý tín hiệu hình ảnh để phân tích, cho kết xác minh, phán định có hay khơng dị vật quy trình sản xuất giúp phịng tránh tốt cố chất lượng Độ xác phương pháp xử lý ảnh thời gian thực phụ thuộc nhiều vào phần cứng thiết bị vi xử lý, card đồ họa máy tính hay camera ghi lại hình ảnh phụ thuộc vào thuật tốn tối ưu hay khơng… Trước u cầu thực tiễn, em lên ý tưởng nhận định hướng thực thầy hướng dẫn việc tiến hành lắp đặt hệ thống giám sát, phát đưa cảnh báo xuất dị vật Jig “Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel” Thuyết minh đồ án gồm chương, nội dung sau: Chương 1: TỔNG QUAN NGHIÊN CỨU - Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng dị vật tới chất lượng công đoạn dán nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất công nghiệp - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài ` Chương 2: TÍNH TỐN THIẾT KẾ CƠ KHÍ - Cơ sở tính toán lựa chọn Camera cho hệ thống giám sát chất lượng - Thông số linh kiện phù hợp với yêu cầu đặt - Mô hoạt động hệ thống giám sát chất lượng Panel Chương 3: THIẾT KẾ THUẬT TỐN ĐIỀU KHIỂN - u cầu tốn điều khiển - Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng Panel - Thuật tốn tìm kiếm dị vật phát sinh dựa giải thuật Template Matching Dù cố gắng hoàn thành đề tài với cường độ làm việc cao, kỹ lưỡng hướng dẫn cụ thể, nhiệt tình thầy môn điện tử ứng dụng thực tiễn quan làm việc, hiểu biết hạn chế cộng với điều kiện đo kiểm thực nghiệm giới hạn mặt thiết bị nên chắn luận văn không tránh khỏi khả thiết sót bất cập Vì em mong sửa chữa góp ý hội đồng, quý thầy cô để em rút kinh nghiệm bổ sung thêm kiến thức cho thân Hà Nội, ngày 08 tháng năm 2020 Học viên thực hiện: Hồng Đình Tuấn ` CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU Chương bao gồm nội dung sau: - Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng dị vật tới chất lượng công đoạn dán nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất công nghiệp - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài 1.1 Đặt vấn đề Xử lý ảnh lĩnh vực mà ngày phát triển ứng dụng rộng rãi nhiều lĩnh vực khác nhờ vào phát triển ngày mạnh mẽ hệ thống máy tính, thuật tốn cơng trình nghiên cứu khác nhiều nhà khoa học giới Ở Việt Nam, vớ phát triển kỷ nguyên công nghiệp 4.0 ứng dụng xử lý ảnh triển khai vô mạnh mẽ nhiều lĩnh vực ứng dụng quản lý giao thông đô thị [4], ứng dụng quản lý liệu sinh trắc học [5], ứng dụng hệ thống giám sát chất lượng, hệ thống nhận diện thông qua cử người [12] … Trên đà phát triển xử lý ảnh, phải kể đến ứng dụng lĩnh vực kiểm tra trực quan( Visual Inspection) liên quan tới việc phân tích sản phẩm đối tượng sản xuất khác dây chuyền cho mục đích kiểm sốt chất lượng Kiểm tra trực quan sử dụng để đánh giá bên bên thiết bị khác sở sản xuất bể chứa, bình chịu áp lực, đường ống thiết bị khác Đó trình diễn khoảng thời gian đặn ngày góp phần phát hầu hết khiếm khuyết trình sản xuất Việc kiểm tra trực quan hầu hết thực thủ công, địi hỏi diện cơng nhân ngoại quan đánh giá thực theo đào tạo kiến thức nhận từ trước Mắt thường là yếu tố then chốt việc kiểm tra trực quan thủ công, nhiên theo nghiên cứu việc lọt lõi tiến hành theo phương pháp dao động từ 20% ~ 30% [6] Một số khiếm ` khuyết quy cho lỗi cơng nhân ngoại quan( tâm trạng, sức khỏe, thời điểm kiểm tra), số khác giới hạn không gian( ánh sáng, khoảng cách ngoại quan, ); giảm bớt việc lọt lỗi cho công nhân ngoại quan thông qua đào tạo thực hành, khơng thể loại bỏ hồn tồn Đặc biệt mơi trường sản xuất người mệt mỏi dẫn tới kết ngoại quan xảy nhiều sai sót Lỗi kiểm tra trực quan sản xuất thường có hai hình thức – thiếu khiếm khuyết có xác định khơng xác khiếm khuyết tồn tại, ví dụ hạn chế mắt người trình kiểm tra trực quan: Hình ảnh 1.1 Các đường song song xuất trở thành dốc Chỉ riêng ví dụ bên mắt người tin tưởng số trường hợp chưa kể tới tầm nhìn hạn chế vật có kích thước q nhỏ Để cải thiện hạn chế việc kiểm tra trực quan tự động không phụ thuộc vào tham gia người mà thay việc sử dụng camera vision ứng dụng thành tựu công nghệ xử lý hình ảnh ( Machine vision system) giúp xây dựng nên hệ thống giám sát chất lượng thông minh tự động thu nhận hình ảnh, tiền xử lý sau phân loại, cảnh báo đưa kết cách xác Quay trở lại với mục đích ban đầu đề tài xây dựng hệ thống giám sát chất lượng Panel nhà máy sản xuất điện thoại thơng minh việc kiểm tra trực quan thủ công trở lên vô khó khăn thiếu hiệu số nguyên nhân sau đây: - Kích thước đối tượng cần quan sát nhỏ, theo số liệu thống kê cơng ty hình kích thước đối tượng cần phát dao động từ 0.2 mm 10 ` - Đăng ký ngoại lệ tọa độ lỗ chân khơng, vết xước cố định thuật tốn tìm biên Canny Dưới hình ảnh kết lọc biên: Hình ảnh 3.3 Lọc tìm biên đặc tính Jig lọc Candy Sử dụng thuật toán tìm biên để xác định vị trí tọa độ lỗ chân không Jig, lưu tọa độ lại để đăng ký ngoại lệ Sau dung để so sánh với tập tọa độ ảnh live: Hình ảnh 3.4 Đăng ký ngoại lệ tọa vị trí đặc tính cố hữu Jig Bước 2: Đăng ký ngoại lệ cho đặc tính hình ảnh sẵn có ROI: X= X0, Y= Y0, Width = W, Height = H Sub Pattern 1: (X1, Y1): Sub Pattern 2: (X2, Y2): Main Pattern 1: (X3,Y3): 47 ` Hình ảnh 3.5 Đăng ký Main Pattern Hình ảnh 3.6 Đăng ký Sub Pattern Hình ảnh 3.7 Đăng ký Sub Pattern 48 ` • Chọn vùng ROI cần xử lý • Chọn hai điểm Sub Pattern để tìm độ lệch theo góc ø ảnh so với ảnh origin Ø = arctan[( X2 – X1)/( Y2 – Y1)] • Chọn Main Pattern để tìm độ lệch theo trục X, Y ảnh LIVE so với ảnh ORIGIN Offset_X = X3 – X1 Offset_Y = Y3 – Y1 Hình ảnh 3.8 Điểm đăng ký ngoại lệ dùng làm đặc tính hình ảnh Bước 3: Chụp hình ảnh live, tiền xử lý ảnh… Sau chụp ảnh live việc ta cần phải tiền xử lý ảnh live tương tự ảnh gốc: - Chuyển đổi ảnh thành ảnh xám - Tiến hành lọc nhiễu, lọc biên đặc tính hình ảnh sử dụng lọc Median - Đăng ký ngoại lệ tọa độ lỗ chân khơng, vết xước cố định thuật tốn tìm biên Candy 49 ` Sau ta cần, xác nhận lại vùng ROI ảnh live trình chụp ảnh bị xoay góc nhỏ, góc lệc làm sai lệch giá trị tính tốn Hình ảnh 3.9 Ảnh live chưa xác định vùng ROI Dựa vào điểm Pattern đăng ký sẵn ta xác định góc Ø ảnh live: Ø’ = arctan[( X2 – X1)/( Y2 – Y1)] Góc xoay ảnh live so với ảnh Ogirin tính công thức: ∆Ø: = Ø – Ø’ Sử dụng thuật tốn xoay ảnh theo góc ∆Ø sau shift ảnh theo giá trị OFFSET tính tốn ban đầu ta tìm vị trí gốc P˳(X0, Y0) vùng ROI X0 = X3 - Offset_X Y0 = Y3 Offset_Y Sau xác định xác vùng ROI cho ảnh ta tiến hành tiền xử lý ảnh live: 50 ` Bước 4: Xử lý ảnh dùng giải thuật Template matching Subtract Background < giải thích> Hình ảnh 3.10 Giải thích ý tưởng thuật tốn Bước 5: Đưa điểm nghi ngờ dị vật So sánh tọa độ đặc tính thu ảnh live ảnh gốc để tìm tọa độ đặc tính khác Các tọa độ thu nghi ngờ dị vật Bước 6: Phát Alarm từ thiết bị - Confirm Nếu Vision camera tìm điểm nghi ngờ dị vật Jig tiến hành dừng khẩn cấp thiết bị phát chuông cảnh báo cho kỹ thuật viên nhanh chóng nắm bắt trạng Thơng qua hình hiển thị, hình ảnh Jig kỹ thuật viên kiểm tra tính xác Visicon camera Nếu khơng phải dị vật bỏ qua, tiếp tục cho thiết bị hoạt động; dị vật tiến hành vệ sinh sau tiếp tục vận hành thiết bị 3.3 Kết thực tế mơ hình thiết bị thử nghiệm Sau tiến hành lắp đặt hệ thống khí thử nghiệm thuật toán cho kết tương đối xác với tỷ lệ phát dị vật với độ xác ~ 88.5%; thời gian xử lý ngắn ( < 5s chu trình) khơng ảnh hưởng tới tacttime chung 51 ` tồn cơng đoạn sản xuất Dưới hình ảnh mơ hình thiết bị thử nghiệm kết kiểm chứng thực tế: Hình ảnh 3.11 Hình ảnh 3.12 Thiết bị đánh giá chương trình vision dị vật Jig Mơ hình thiết kế vị trí đặt camera Jig kiểm tra dị vật 52 ` Kết thực nghiệm kiểm chứng 50 sản phẩm: Panel Kết No check OK OK OK NG OK OK OK OK OK 10 OK 11 OK 12 OK 13 OK 14 OK 15 OK 16 OK 17 OK 18 OK 19 OK 20 OK 21 OK 22 OK 23 OK 24 OK 25 OK Hình ảnh NG Kích thước dị vật 0.92 x 0.4 mm 53 ` 26 OK 27 OK 28 NG 29 OK 30 OK 31 OK 32 OK 33 OK 34 OK 35 OK 36 OK 37 OK 38 OK 39 OK 40 OK 41 OK 42 OK 43 OK 44 OK 45 OK 46 OK 47 OK 48 OK 49 OK 50 NG 0.45 x 0.26 mm 0.5 x 0.5 mm 54 ` Tỷ lệ xác theo ngày: Day Input Qty NG Qty Confirm result Rate 1568 15 13 86.7% 2314 22 19 86.4% 2136 21 18 85.7% 1997 13 12 92.3% 2712 19 16 84.2% 1365 7 100.0% 2001 29 27 93.1% 2452 31 28 90.3% 965 12 11 91.7% 10 1544 13 10 76.9% Ave 19054 182 161 88.5% Tỷ lệ xác Vision camera ~ 88.5% sau kiểm chứng mười ngày liên tiếp với số lượng sản phẩm 19054 So sánh hiệu với số phương án quản lý thực Dưới bảng so sánh hiệu sau thời gian áp dụng Vision camera hệ thống giám sát chất lượng Panel mơ hình thiết bị thử nghiệm so với phương pháp giám sát chất lượng thông thường Các phương pháp bao gồm: Không quản lý: chất lượng mặc định kiểm sốt tốt IQC, khơng có lọt lỗi dị vật, tất Panel vào thiết bị không cần quản lý chất lượng, phép chạy thẳng kiểm tra tỷ lệ lỗ phát sinh công đoạn Monitoring: thiết bị quản lý system, 4h yêu cầu kỹ thuật viên kiểm tra Jig, vệ sinh sẽ, phương thức quản lý truyền thống phụ thuộc vào ý thức người hiệu phụ thuộc lớn vào kỹ thuật viên Camera Vision( ứng dụng xử lý ảnh kiểm tra tất chu trình sản phẩm), phương pháp đề cập đề tài, tự động kiểm tra phát dị vật camer vision sau đưa cảnh báo tự động nhằm thông báo cho kỹ thuật viên xử lý thời điểm phát sinh đầu tiên: 55 ` Bảng so sánh phương pháp sử dụng camera vision với phương pháp giám sát chất lượng truyền thống: Phương pháp Không quản lý quản lý Nội dung < 1.2018 ~ 6.2018> Monitoring Camera Vision < 7.2018 ~ < 6.2019 ~ 12.2018> 9.2019> - Dị vật mặc định - Áp dụng quản lý - Áp dụng quản lý kiểm soát hệ thống dị vật Jig, Panel công đoạn IQC Cleaning Jig 4h/ tất sản phẩm - Khi input vào thiết lần - Tự động hóa bị khơng quản lý - Sau 4h quy trình kiểm dị vật khơng Cleaning tra, phát - Jig Panel Jig interlock kiểm tra vệ sinh theo chu kỳ PM/ Cleaning.( tuần lần) Tần suất kiểm tuần lần tuần lần < ~ 20,000 ea / lần> < ~ 600 ea / lần> Tự động hóa Manual Manual Auto Độ xác N/A N/A 88.50% 0.38% 0.19% 0.03% 4.1 2.1 tra Tỷ lệ lỗi < %> ea / lần Số vụ tai nạn chất lượng trung bình < vụ / tháng> 56 ` Một số hình ảnh liên quan tới kết thực nghiệm: Hình ảnh 3.13 Kết thực nghiệm phát xác dị vật kích thước 0.2mm Thêm số hình ảnh kết thực tiễn: Hình ảnh 3.14 Jig khơng có dị vật 57 ` Hình ảnh 3.15 Kết Vision Jig khơng có dị vật: OK Hình ảnh 3.16 Jig có dị vật bị phát Vision camera Hình ảnh 3.17 Jig có dị vật bị phát Vision camera 58 ` KẾT LUẬN Trong trình thực đề tài với hướng dẫn tận tình thầy hướng dẫn tốt nghiệp TS Đặng Thái Việt( phó trưởng mơn Cơ điện tử, viện Cơ khí, đại học Bách Khoa Hà Nội) giúp đỡ tạo điều kiện công ty TNHH Samsung Display Vietnam( theo chương trình hợp tác đào tạo thạc sỹ khóa 2018-2020) em hoàn thành nội dung đề tài theo tiến độ đề đạt kết định mặt thực tiễn áp dụng Cụ thể: - Xây dựng thành công hệ thống phần cứng vision kiểm tra dị vật bề mặt stage - Xây dựng thành công tối ưu phần mềm chương trình vision kiểm dị vật bề mặt stage - Hệ thống hoạt động yêu cầu đặt ra: Phát dị vật bề mặt stage đưa cảnh báo tới kỹ thuật viên kịp thời dừng thiết bị phát có dị vật - Chương trình vision phát dị vật có kích thước lớn 0.2mm, áp dụng thực tế bắt dị vật lớn 0.25 mm( mức độ gây lỗi sản phẩm) - Thời gian xử lý nhanh nằm tact time sản xuất nhà máy, không ảnh hưởng đến sản lượng sản xuất thiết bị - Tính xác triển khai thực tế chương trình đạt 88.5% - Chương trình giao tiếp xác với chương trình PLC thiết bị khơng phát lỗi giao tiếp suốt trình sử dụng thử nghiệm nhà máy Trong thời gian tới em tiếp tục tìm hiểu thêm thuật toán xử lý ảnh (machine learning…) để tối ưu phát triển nâng cao tính chinh xác chương trình Ngồi em tiếp tục lên kế hoạch để mở rộng vai trò vision computer vai trị giám sát chất lượng khơng với đối tượng dị vật mà cịn phát thêm đối tượng lỗi khác Crack( vết đứt, gãy), Scratch( vết xước), Shrinkage( vết đâm vùng cạnh sản phẩm),… 59 ` TÀI LIỆU THAM KHẢO [1] Huasheng Zhu, Jiner Lei, Xiumei Tian "A pattern recognition system based on computer vision - The method of Chinese chess recognition", 2008 IEEE International Conference on Granular Computing, IEEE, 2008-Aug [2] Nguyễn Đình Đăng, Tạp chí mỹ thuật nhiếp ảnh số 11/2013 pp 22-27, số 12/2013 pp 22-28, số 1+2/2014 pp 89-95 [3] Richard Szeliski (30 September 2010) Computer Vision: Algorithms and Applications Springer Science & Business Media [4] Danial Lelis Baggio, “Mastering OpenCV with Practical computer vision projects”, Pactk Pulishing 2012, pp 148-170 [5] Danial Lelis Baggio, “Mastering OpenCV with Practical computer vision projects”, Pactk Pulishing 2012, pp 231-266 [6] J W Schoonahd; J D Gould; L A Miller (July 1973), "Studies of Visual Inspection", Ergonomics, Taylor & Francis, pp 365–379 [7] Micheal Beyeler, “Machine learning for OpenCV”, Pactk Pulishing 2017, pp 101 [8] Lilian pierson( 2nd edition), “Data science for Dummies”, John Wiley & Sons, Inc [9] OpenCV, “Real-time computer vision with OpenCV”, https://opencv.org/ [10] Lim K, Hong Y, Choi Y, Byun H (2017), “Real-time traffic-sign recognition based on a general-purpose GPU and deep learning”, [11] Eichner, M.; Breckon, T (2008) "Integrated speed limit detection and recognition from real-time video" [12] M Holte ,T Moeslund, P Fihl “Fusion of range and intensity information for view invariant gesture recognition,” In Proc of the IEEE Computer Society Conf on CVPR Workshops, 2008, pp 1~7 [13] J R Parker (2011), “ Algorithms for Image Processing and Computer Vision”, 2nd edidtion 60 ` [14] Sadhna Sharma, "Template Matching Approach for Face Recognition System", International Journal of Signal Processing Systems Vol 1, No December 2013 [15] M Piccardi, "Background subtraction techniques: a review", 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat No.04CH37583) [16] Gregor Miller ; Sidney Fels ; Steve Oldridge, "A Conceptual Structure for Computer Vision", 2011 Canadian Conference on Computer and Robot Vision 61 ... hướng dẫn việc tiến hành lắp đặt hệ thống giám sát, phát đưa cảnh báo xuất dị vật Jig ? ?Ứng dụng xử lý ảnh nhằm phát quản lý dị vật hệ thống giám sát chất lượng Panel? ?? Thuyết minh đồ án gồm chương,... nghiệp 4.0 ứng dụng xử lý ảnh triển khai vô mạnh mẽ nhiều lĩnh vực ứng dụng quản lý giao thông đô thị [4], ứng dụng quản lý liệu sinh trắc học [5], ứng dụng hệ thống giám sát chất lượng, hệ thống. .. thoại - Lý lựa chọn đề tài - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất công nghiệp - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài 1.1 Đặt vấn đề Xử lý ảnh lĩnh vực mà ngày phát