Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại

` TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh nhằm phát ngăn chặn cố chất lượng công nghệ sản xuất hình điện thoại PHẠM VĂN TIỆP gacon0211bk@gmail.com Ngành Kỹ thuật điều khiển Tự động hóa Khoa Tự động hóa Giảng viên hướng dẫn: TS Đào Quý Thịnh Chữ ký GVHD Trường: Điện – Điện tử HÀ NỘI, 04/2022 ` Lời cảm ơn Đề tài “Ứng dụng xử lý ảnh nhằm phát ngăn chặn cố chất lượng công nghệ sản xuất hình điện thoại” nội dung tơi chọn để nghiên cứu làm luận văn tốt nghiệp cao học chuyên ngành Tự động hóa trường đại học Bách Khoa Hà Nội Tôi xin chân thành cảm ơn sâu sắc đến TS Đào Quý Thịnh ngành Kỹ thuật điều khiển Tự động hóa, Khoa Tự động hóa, Trường Điện-Điện tử – Trường đại học Bách Khoa Hà Nội Thầy trực tiếp bảo hướng dẫn suốt q trình nghiên cứu để tơi hồn thiện luận văn Ngồi tơi xin chân thành cảm ơn Thầy, Cơ Bộ mơn đóng góp ý kiến quý báu cho luận văn Trân trọng cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn trình bày việc phát cố chất lượng liên quan tới lỗi ngoại quan thường hay xảy dị vật, bóng khí, dán lệch công đoạn lắp ráp Nhằm kịp thời ngăn chặn cảnh báo lỗi trình sản xuất hình điện thoại nhà máy sản xuất điện thoại thơng minh Mục đích: Giảm thiểu cách tối đa lỗi liên quan tới cố chất lượng nhằm giảm chi phí phát sinh, tối đa hóa lợi nhuận, giảm giá thành sản phẩm Mục tiêu: Phát lỗi ngoại quan sau đưa cảnh báo cách sử dụng công cụ xử lý ảnh để đưa phán đốn xác việc có hay khơng có lỗi q trình sản xuất đưa cảnh báo Phương pháp thực hiện: Sử dụng thuật toán trừ ảnh (subtrack background) nhằm phát dị vật phát sinh trình sản xuất Công cụ sử dụng: Microsoft Visual 2017, Office 2013, OpenCV… Kết đạt được: xây dựng thành công hệ thống áp dụng vào nhà máy Định hướng phát triển đề tài: Mở rộng phát lỗi khác đứt, gãy… Học viên Phạm Văn Tiệp ` MỤC LỤC CHƯƠNG TỔNG QUAN NGHIÊN CỨU 10 1.1 Đặt vấn đề 10 1.1.1 Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại 11 1.1.2 Ảnh hưởng cố tới chất lượng sản phẩm công đoạn 14 1.1.3 Tính cấp bách đề tài 16 1.2 Phương pháp phát chất lượng xử lý ảnh 18 1.2.1 Không gian màu, chuyển đổi không gian màu 18 1.2.2 Ảnh nhị phân, nhị phân hóa với ngưỡng động 21 1.2.3 Phóng to, thu nhỏ, xoay ảnh 22 1.2.4 Một số phép toán sử dụng nội dung luận văn 23 1.3 Các thuật toán liên quan lựa chọn 29 1.3.1 Phương pháp tách (Background subtraction) 29 1.3.2 Phương pháp Template Matching 31 CHƯƠNG TÍNH TỐN THIẾT KẾ CƠ KHÍ 35 2.1 Cơ sở tính toán lựa chọn Camera cho hệ thống ngăn chặn phát cố 35 2.1.1 Thực nghiệm lựa chọn kích thước lỗi nhỏ cần phát 40 2.2 Thông số thiết bị, vị trí lắp đặt Camera 41 2.3 Chọn phương án chiếu sáng( lightning) 45 CHƯƠNG THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN 47 3.1 Yêu cầu toán điều khiển 47 3.2 Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng 48 3.3 Kết thực tế mơ hình thiết bị thử nghiệm 52 KẾT LUẬN 61 TÀI LIỆU THAM KHẢO 63 ` DANH MỤC HÌNH ẢNH Hình 1.1 Các đường song song xuất trở thành dốc 11 Hình 1.2 Process sản xuất hình điện thoại 12 Hình 1.3 Layer dịng điện thoại 12 Hình 1.4 Phương thức sản xuất hình 13 Hình 1.5 Cấu tạo hình OLED 13 Hình 1.6 Sơ lược process dán 13 Hình 1.7 Sơ đồ khối thiết bị dán Window với Panel 14 Hình 1.8 Loại hình dị vật 15 Hình 1.9 Loại hình bóng khí 15 Hình 1.10 Ý tưởng camera giám sát phát cố 17 Hình 1.11 Sơ đồ lắp đặt hệ thống điều khiển 17 Hình 1.12 Khơng gian màu RGB 19 Hình 1.13 Không gian màu YMC 20 Hình 1.14 Khơng gian màu HSV 21 Hình 1.15 Ảnh với giá trị Threshold khác 22 Hình 1.16 Thuật tốn thu phóng ảnh 23 Hình 1.17 Thuật toán xoay ảnh 23 Hình 1.18 Phép giãn nở 24 Hình 1.19 Phép giãn nở 24 Hình 1.20 Gradient 26 Hình 1.21 Ảnh gốc lọc Candy 26 Hình 1.22 Ví dụ phép tìm biên Candy 27 Hình 1.23 Chuyển đổi Hough 28 Hình 1.24 Chuyển đổi Hough đường tròn 28 Hình 2.1 Lý thuyết camera Vision 36 Hình 2.2 Sơ đồ thiết bị vị trí lắp đặt Camera vision 42 Hình 2.3 Khu vực làm việc Camera 42 Hình 2.4 Sơ đồ nguyên lý hoạt động hệ thống 42 Hình 2.5 Robot loading hình từ conveyer vào Base light 43 ` Hình 2.6 Step chu trình làm việc 43 Hình 2.7 Step trường hợp phát sinh lỗi chất lượng 44 Hình 2.8 Lặp lại chu trình làm việc 45 Hình 2.9 Các phương thức chiếu sáng 46 Hình 2.10 Thực nghiệm phương thức chiếu sáng 46 Hình 3.1 Sơ đồ lắp đặt hệ thống điều khiển 47 Hình 3.2 Sơ đồ thuật tốn 49 Hình 3.3 Tiền xử lý ảnh 49 Hình 3.4 Điểm đăng kí ngoại lệ dùng làm đặc tính hình ảnh………… 50 Hình 3.5 Ảnh live bị xoay trình loading 51 Hình 3.6 Giải thích ý tưởng thuật toán 52 Hình 3.7 Thiết bị đánh giá chương trình Vision 53 Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27 56 Hình 3.9 Kết tính tốn DOE 56 Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4 57 Hình 3.11 Data đánh giá kích thước lỗi 0.956*0.776 57 Hình 3.12 Biểu đồ tỷ lệ so sánh phương pháp ngoại quan 60 Hình 3.13 Ảnh sản phẩm bị xoay trước Vision check 60 Hình 3.14 Camera check dị vật bóng khí kích thước 0.24mm 61 Hình 3.15 Camera check dị vật bóng khí kích thước 0.23mm 62 ` DANH MỤC TỪ TIẾNG ANH Visual Inspection Kiểm tra trực quan Process Công đoạn Step by step Bước bước Liquid Crystal Display (LCD) Màn hình tinh thể lỏng Active Matrix Organic Light Emitting Diode (AMOLED) DDiot phát sáng hữu ma trận động (Plane, Rollable, Bended, Foldable Phẳng, cuộn tròn, uốn cong, gập (YOUM) Curved Rolling Cán cong Flat Rolling Cán phẳng Sheet Rolling Cán dính Section Mặt cắt Auto Clave Nồi hấp Loading Mang Unloading Dỡ Stage Bàn đặt (để) Black light Đèn chiếu sáng Alarm Lỗi thiết bị Controller Bộ điều khiển Computer Máy tính Red, Green, Blue (RGB) Đỏ, xanh, vàng Hue, Saturation, Value (HSV) Màu sắc, bão hòa, giá trị cường độ Cyan, Megenta, Yellow, Black (CMYK) Xanh lơ, hồng sẫm, vàng, đen Threshold Ngưỡng cửa Dilation Giãn nở Image structuring element Cấu trúc phần tử ảnh Upper threshold Ngưỡng Lower threshold Ngưỡng Background subtraction Phương pháp tách Template matching So sánh mẫu Field of view (FOV) Vùng làm việc Working distance Khoảng cách từ Lén tới đối tượng ` LỜI NÓI ĐẦU Cuộc sống ngày đại gắn liền với tự động hóa, cơng nghệ số nhu cầu sử dụng thiết bị điện tử, sản phẩm công nghệ cao gắn liền với đời sống sinh hoạt người ngày nhiều Vì việc thiết kế, sản xuất liên tục cải tiến thiết bị điện, điện tử phục vụ nhu cầu sống hàng ngày người cần thiết không ngừng diễn quanh Những năm gần đây, nhờ sách mở cửa nhà nước nên công nghệ sản xuất, thiết bị đại phục vụ sản xuất tự động hóa nhập trực tiếp, nhận đầu tư lớn từ tập đồn cơng nghệ hàng đầu giới tăng lên đáng kể, đặc biệt phải kể tới tập đồn lớn cơng nghệ đến từ Nhật Bản, Hàn Quốc, Trung Quốc… Hưởng lợi từ việc nhập linh kiện máy móc sản xuất thiết bị điện tử sản xuất nước với chi phí thấp tạo hội việc làm cho nhân lực nước, qua học hỏi, trau dồi cơng nghệ từ đối tác nước ngồi ngày trở nên thuận tiện Trong ngành sản xuất thiết bị điện tử nói chung ngành sản xuất hình, thiết bị sử dụng hình hiển thị ngày phát triển Việt Nam, đặc biệt theo xu hướng ngày hoàn thiện chất lượng sử dụng cao hướng tới nhu cầu cao thị trường Do đó, vấn đề kiểm sốt tốt chất lượng sản phẩm trình sản xuất giúp giảm thiểu chi phí nhiều, giúp tăng tính cạnh tranh sản phẩm sản xuất nước nâng cao trình độ kỹ thuật nhân lực sản xuất lên cách đáng kể Hơn nữa, xu hướng cơng ty sản xuất hình thiết bị sử dụng hình ngày mỏng gập, uốn cong nhằm đáp ứng nhu cầu thị trường nên việc sản xuất hàng loạt phải đảm bảo chất lượng đòi hỏi công đoạn giám sát chất lượng phải ngày xác nhanh Việc kiểm sốt chất lượng sản phẩm công nhân ngoại quan khơng cịn đáp ứng nhu cầu sản xuất cần phải có cơng nghệ tiên tiến hỗ trợ để tăng cao độ xác giảm tối đa thời gian kiểm tra hàng lỗi, kịp thời xử lý trình sản xuất nhằm giảm tối đa thiệt hại thời gian sản xuất Một công nghệ tiên tiến hỗ trợ tốt cho quy trình giám sát chất lượng phát triển mạnh mẽ vài năm gần phải kể đến công nghệ ` Computer Vision (thị giác máy tính) Cơng nghệ phát triển tốt ứng dụng phù hợp hồn tồn thay người việc tự động phát lỗi nhỏ với thời gian nhanh việc kiểm sốt hồn tồn tự động camera ngày hoàn thiện cho phép phát vật thể với kích thước cực nhỏ mà mắt người khơng thể nhìn thấy Một yếu tố quan trọng, mang tính sống cịn cần giám sát cơng ty sản xuất hình đại dị vật bóng khí dán lệch, mơi trường sản xuất phịng dị vật lỗi bóng khí, dán lệch có kích thước nhỏ khó kiểm sốt lọt vào quy trình sản xuất gây lỗi đặc tính cho sản phẩm Thơng qua hình thức kiểm sốt hình ảnh thời gian thực bẳng cách sử dụng camera có độ phân giải cao kết hợp với thuật tốn xử lý tín hiệu hình ảnh để phân tích, cho kết xác giúp phán định có hay khơng dị vật hay lỗi chất lượng quy trình sản xuất giúp phịng tránh tốt cố chất lượng Độ xác phương pháp xử lý ảnh thời gian thực phụ thuộc nhiều vào phần cứng thiết bị vi xử lý, card đồ họa máy tính hay camera ghi lại hình ảnh phụ thuộc vào thuật tốn tối ưu hay khơng… Trước u cầu cầu thực tiễn, luận văn lên ý tưởng việc tiến hành lắp đặt hệ thống giám sát chất lượng hình điện thoại thơng qua việc phát hiện, ngăn chặn đưa cảnh báo xuất cố liên quan tới lỗi chất lượng (có dị vật, bóng khí, dán lệch) “Ứng dụng xử lý ảnh nhằm phát ngăn chặn cố chất lượng công nghệ sản xuất hình điện thoại” Thuyết minh đồ án gồm chương, nội dung sau: ▪ Chương TỔNG QUAN NGHIÊN CỨU - Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng của cố chất lượng nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Các phương pháp phát cố chất lượng - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài ` - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất cơng nghiệp ▪ Chương TÍNH TỐN THIẾT KẾ CƠ KHÍ - Cơ sở tính tốn lựa chọn Camera cho hệ thống giám sát chất lượng - Thông số linh kiện phù hợp với yêu cầu đặt - Mô hoạt động hệ thống giám sát chất lượng - Phương thức chiếu sáng ▪ Chương THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN - Yêu cầu toán điều khiển - Xây dựng sơ đồ thuật toán điều khiển hệ thống giám sát chất lượng - Thuật tốn tìm kiếm dị vật ,bóng khí , dán lệch phát sinh dựa giải thuật Template Matching Subtract background - Kiểm thảo tìm điều kiện thực nghiệm tốt áp dụng cho đề tài Dù cố gắng hoàn thành đề tài với cường độ làm việc cao, kỹ lưỡng hướng dẫn cụ thể, nhiệt tình thầy ngành Điều khiển Tự động hóa, Khoa Tự động hóa ứng dụng thực tiễn quan làm việc, hiểu biết hạn chế cộng với điều kiện đo kiểm thực nghiệm giới hạn mặt thiết bị nên chắn luận văn không tránh khỏi khả thiết sót bất cập Vì em mong sửa chữa góp ý hội đồng, quý thầy cô để em rút kinh nghiệm bổ sung thêm kiến thức cho thân Hà Nội, ngày 01 tháng năm 2022 Học viên thực hiện: Phạm Văn Tiệp ` CHƯƠNG TỔNG QUAN NGHIÊN CỨU Chương bao gồm nội dung sau: - Sơ lược trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng của cố chất lượng nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Các phương pháp phát cố chất lượng - Lý thuyết xử lý ảnh ứng dụng thực tế áp dụng đề tài - Vai trò hệ thống giám sát chất lượng nhà máy sản xuất công nghiệp 1.1 Đặt vấn đề Xử lý ảnh lĩnh vực mà ngày phát triển ứng dụng rộng rãi nhiều lĩnh vực khác nhờ vào phát triển ngày mạnh mẽ hệ thống máy tính, thuật tốn cơng trình nghiên cứu khác nhiều nhà khoa học giới Ở Việt Nam, với phát triển kỷ nguyên công nghiệp 4.0 ứng dụng xử lý ảnh triển khai vô mạnh mẽ nhiều lĩnh vực ứng dụng quản lý giao thông đô thị [4], ứng dụng quản lý liệu sinh trắc học [5], ứng dụng hệ thống giám sát chất lượng, hệ thống nhận diện thông qua cử người [12] … Trên đà phát triển xử lý ảnh, phải kể đến ứng dụng lĩnh vực kiểm tra trực quan( Visual Inspection) liên quan tới việc phân tích sản phẩm đối tượng sản xuất khác dây chuyền cho mục đích kiểm sốt chất lượng Kiểm tra trực quan sử dụng để đánh giá bên bên thiết bị khác sở sản xuất bể chứa, bình chịu áp lực, đường ống thiết bị khác Đó q trình diễn khoảng thời gian đặn ngày góp phần phát hầu hết khiếm khuyết trình sản xuất Việc kiểm tra trực quan hầu hết thực thủ cơng, địi hỏi diện công nhân ngoại quan đánh giá thực theo đào tạo kiến thức nhận từ trước Mắt thường là yếu tố then chốt việc kiểm tra trực quan thủ công, nhiên theo nghiên cứu việc lọt lõi 10 ` Sub Pattern 1: (X1, Y1): Sub Pattern 2: (X2, Y2): Main Pattern 1: (X3, Y3): • Chọn vùng ROI cần xử lý • Chọn hai điểm Sub Pattern để tìm độ lệch theo góc ø ảnh so với ảnh gốc (origin) Ø = arctan [(X2 – X1)/ (Y2 – Y1)] • Chọn Main Pattern để tìm độ lệch theo trục X, Y ảnh LIVE so với ảnh ORIGIN Offset_X = X3 – X1 Offset_Y = Y3 – Y1 Hình 3.4 Điểm đăng kí ngoại lệ dung làm dặc tính hình ảnh Bước 3: Chụp hình ảnh live, tiền xử lý ảnh… Sau chụp ảnh live việc ta cần phải tiền xử lý ảnh live tương tự ảnh gốc: - Chuyển đổi ảnh thành ảnh xám - Tiến hành lọc nhiễu, lọc biên đặc tính hình ảnh sử dụng lọc Median - Đăng ký ngoại lệ tọa độ lỗ chân không, vết xước cố định thuật tốn tìm biên Candy 50 ` Sau ta cần, xác nhận lại vùng ROI (read of image) ảnh live trình chụp ảnh bị xoay góc nhỏ, góc lệc làm sai lệch giá trị tính tốn Hình 3.5 Ảnh live bị xoay trình loading Dựa vào điểm Pattern đăng ký sẵn ta xác định góc Ø ảnh live: Ø’ = arctan [(X2 – X1)/ (Y2 – Y1)] Góc xoay ảnh live so với ảnh gốc (ogirin) tính cơng thức: ∆Ø: = Ø – Ø’ Sử dụng thuật toán xoay ảnh theo góc ∆Ø sau dịch chuyển (shift) ảnh theo giá trị OFFSET tính tốn ban đầu ta tìm vị trí gốc P (X0, Y0) vùng ROI X0 = X3 - Offset_X Y0 = Y3 Offset_Y Sau xác định xác vùng ROI cho ảnh ta tiến hành tiền xử lý ảnh live: Bước 4: Xử lý ảnh dùng giải thuật Template matching Subtract Background < giải thích> 51 ` Hình 3.6 Giải thích ý tưởng thuật tốn Bước 5: Đưa điểm nghi ngờ lỗi So sánh tọa độ đặc tính thu ảnh live ảnh gốc để tìm tọa độ đặc tính khác Các tọa độ thu nghi ngờ lỗi Bước 6: Phát cảnh báo (Alarm) từ thiết bị - Confirm Nếu Vision camera tìm điểm nghi ngờ lỗi hình tiến hành dừng khẩn cấp thiết bị phát chuông cảnh báo cho kỹ thuật viên nhanh chóng nắm bắt trạng Thơng qua hình hiển thị, hình ảnh lỗi kỹ thuật viên kiểm tra tính xác Visicon camera Nếu khơng phải lỗi bỏ qua, tiếp tục cho thiết bị hoạt động; lỗi tiến hành xử lý sau tiếp tục vận hành thiết bị 3.3 Kết thực tế mô hình thiết bị thử nghiệm Sau tiến hành lắp đặt hệ thống khí thử nghiệm thuật tốn cho kết tương đối xác với tỷ lệ phát lỗi chất lượng với độ xác 52 ` ~ 92.59%; thời gian xử lý ngắn ( ~ s chu trình) khơng ảnh hưởng tới tacttime chung tồn cơng đoạn sản xuất Dưới hình ảnh mơ hình thiết bị thử nghiệm kết kiểm chứng thực tế: Hình 3.7 Thiết bị đánh giá chương trình Vision Kết thực nghiệm kiểm chứng 35 mẫu sản phẩm: No Kết OK OK OK NG OK OK OK OK OK 10 OK Hình ảnh NG Kích thước 0.47 mm 53 ` 11 OK 12 OK 13 OK 14 OK 15 OK 16 OK 17 OK 18 OK 19 OK 20 OK 21 OK 22 OK 23 OK 24 OK 25 OK 26 OK 27 OK 28 NG 0.28 mm 29 NG 0.56 mm 30 OK 31 OK 32 OK 33 OK 34 NG 0.6 mm 35 NG 0.64 mm 54 ` Tỷ lệ xác đánh giá tăng lượng theo ngày: Day Input Qty NG Qty Confirm result Rate 1,457 16 14 87.5% 1,862 20 18 90.00% 2,219 22 19 86.36% 2,097 19 18 94.74% 2,743 29 25 86.21% 1,634 17 15 88.24% 2,019 26 24 92.31% 2,230 28 25 89.29% 1,020 11 10 90.91% 10 1,534 13 12 92.31% Ave 18,815 201 180 89.55% Tỷ lệ xác Vision camera ~ 89.55% sau kiểm chứng mười ngày liên tiếp với số lượng sản phẩm 18815 Cần đánh giá DOE kiểm thảo lực Vision Camera + Trường hợp dị vật/ dán lệch size (0.73*0.27) thực tế gây cố nhà máy DOE đánh giá Vision No 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Đầu vào ( 0.73*0.27 ) Threshold Grey 25 20 25 25 25 30 25 40 25 50 25 60 40 20 40 25 40 30 40 40 40 50 40 60 50 20 50 25 50 30 50 40 50 50 50 60 70 20 70 25 70 30 70 40 70 50 70 60 90 20 Pixel 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 Pixel Vision check 0 10 18 27 36 0 10 17 22 0 0 12 17 0 0 10 11 Đầu Pixel (%) 0.00% 0.00% 13.51% 24.32% 36.49% 48.65% 0.00% 0.00% 0.00% 13.51% 22.97% 29.73% 0.00% 0.00% 0.00% 0.00% 16.22% 22.97% 0.00% 0.00% 0.00% 0.00% 13.51% 14.86% 0.00% Alarm (YES/NO) NO NO NO YES YES YES NO NO NO NO YES YES NO NO NO NO NO YES NO NO NO NO NO NO NO EQP B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 55 ` 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 90 90 90 90 90 100 100 100 100 100 100 120 120 120 120 120 120 Hình 3.8 25 30 40 50 60 20 25 30 40 50 60 20 25 30 40 50 60 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 74 0 0 0 0 0 0 0 0 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO NO B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 B1LAM27N_U11 Data đánh giá DOE kích thước lỗi 0.73*0.27 Kiểm thảo Minitab thu kết điều kiện tốt Grey (50~60), threshold nhỏ 40 Hình 3.9 Kết tính tốn DOE Kết tương tự dánh giá điều kiện kích thước mẫu khác (0.73*0.4) (0.956*0.776) cho thấy Grey (50~60), threshold nhỏ 40 tốt 56 ` Hình 3.10 Hình 3.11 Data đánh giá kích thước lỗi 0.73*0.4 Data dánh giá kích thước lỗi 0.956*0.776 57 ` Áp dụng theo diều kiện tốt Grey Threshold, kiểm chứng lại kết lực check Camera sau: Day Input Qty NG Qty Confirm result Rate 1,724 16 16 100.00% 2,912 22 20 90.90% 1,890 24 21 87.5% 2,008 15 14 93.33% 2,630 18 16 88.89% 2,514 14 13 92.85% 1,890 28 26 92.85% 1,963 26 25 96.15% 1,968 12 12 100.00% 10 2,007 14 12 85.71% Ave 21,506 189 175 92.59% Tỷ lệ xác Vision camera ~ 92.59% sau kiểm chứng với số lượng sản phẩm 21,506 Tăng lên 3.04% so với chưa áp dụng điều kiện tốt So sánh hiệu với số phương án quản lý thực Dưới bảng so sánh hiệu sau thời gian áp dụng Vision camera hệ thống giám sát chất lượng mơ hình thiết bị thử nghiệm so với phương pháp giám sát chất lượng thông thường Các phương pháp bao gồm: Không quản lý: chất lượng mặc định kiểm soát nhân viên vận hành máy Khi sản phẩm khỏi cơng đoạn thiết bị không cần quản lý chất lượng, phép chạy thẳng kiểm tra tỷ lệ lỗ phát sinh công đoạn Monitoring (quản lý theo chu kỳ): thiết bị quản lý hệ thống cảnh báo thủ công, lần yêu cầu kỹ thuật viên kiểm tra sản phẩm ngồi cơng đoạn phương thức quản lý truyền thống phụ thuộc vào ý thức người hiệu phụ thuộc lớn vào kỹ thuật viên Việc kiểm tra theo chu kỳ ngắn hiệu cao thời gian dừng chờ tăng lên ảnh hưởng lớn tới sản lượng nhà máy Hơn nữa, phương pháp phụ thuộc vào người nên mức độ tin cậy hiệu hạn chế (số liệu tham khảo bảng bên dưới) 58 ` Camera Vision (ứng dụng xử lý ảnh kiểm tra tất chu trình sản phẩm), phương pháp đề cập đề tài, tự động kiểm tra phát lỗi chất lượng dị vật, bóng khí, dán lệch camera vision sau đưa cảnh báo tự động nhằm thông báo cho kỹ thuật viên xử lý thời điểm phát sinh Có thể thấy phương pháp hồn tồn tự động, kiểm soát 24 liên tục với độ xác cao mà khơng cần có xuất người Bất lỗi chất lượng phát sinh dù với tần suất liên tục hay kiểm soát cách chặt chẽ Bảng so sánh phương pháp sử dụng camera vision với phương pháp giám sát chất lượng truyền thống: Monitoring Camera Vision < 10.2021 ~ < 1.12.2021 ~ 11.2021> 12.12.2021> -Các lỗi mặc dịnh - Bố trí nhân viên -Áp dụng kiểm tra kiểm soát kiểm tra chất 100% nhân viên vận hành lượng line -Tự dộng hóa quy máy -Bố trí nhân viên trình kiểm tra - Khi khỏi công ngoại quan vị phát lỗi đoạn khơng kiểm trí sản phẩm tra chất lượng khỏi công đoạn Phương pháp Không quản lý quản lý Nội dung Tần suất Capa < 6.2019 ~ 7.2019> Không giờ/ lần < ~ 20 ea / lần> ea / lần 300,000ea 300,000ea 182,000ea Tự động hóa Manual Manual Auto Độ xác N/A N/A 92.59% 2.3% 1.55% 1.17% Tỷ lệ lỗi < %> Số vụ cố Vụ/tháng 59 ` Hình 3.12 Biểu đồ tỷ lệ lỗi so sánh phương pháp ngoại quan Một số hình ảnh liên quan tới kết thực nghiệm: Hình 3.13 Ảnh sản phẩm bị xoay trước Vision check 60 ` Hình 3.14 Camera check dị vật/bóng khí kích thước 0.24mm Hình 3.15 Camera check dị vật/bóng khí kích thước 0.23mm Kết luận chương 3: Trên sở thiết kế hệ thống khí( hardware) xậy dựng chương 2, chương tiếp tục hồn thiện thành cơng hệ thống điều khiển( software) dựa thuật toán xử lý ảnh Kết thu khả quan có tính áp dụng thực tiễn cao độ xác thuật toán sau xác nhận lên tới 92.59% thời gian xử lý trung bình sản phẩm kéo dài ~ 2s Hiệu mặt chất lượng sau thời gian áp dụng tốt, lỗi dị vật gây giảm từ 1.25% 1.00% lỗi bóng khí gây giảm từ 0.20% 0.13% lỗi dán lệch gây giảm từ 0.10% 0.04%, khơng cịn cố dị vật bóng khí ,dán lệch gây suốt thời gian hoạt động chương trình Tuy nhiên cần phương án cải tiến thiết bị chổi làm sạch,quản lý parameter thiết bị 61 ` KẾT LUẬN Trong trình thực đề tài với hướng dẫn tận tình thầy hướng dẫn tốt nghiệp TS Đào Quý Thịnh (ngành Kỹ thuật điều khiển Tự động hóa, Khoa Tự động hóa, Trường Điện-Điện tử, Trường Đại học Bách Khoa Hà Nội) giúp đỡ tạo điều kiện công ty TNHH Samsung Display Việt Nam (theo chương trình hợp tác đào tạo thạc sỹ khóa 2020-2022) tơi hồn thành nội dung đề tài theo tiến độ đề đạt kết định mặt thực tiễn áp dụng Cụ thể: - Xây dựng thành công hệ thống phần cứng vision kiểm tra dị vật, bóng khí, dán lệch bề mặt sản phẩm - Xây dựng thành cơng tối ưu phần mềm chương trình vision kiểm dị vật, bóng khí, dán lệch bề mặt sản phẩm - Hệ thống hoạt động yêu cầu đặt ra: Phát dị vật, bóng khí, dán lệch bề mặt sản phẩm đưa cảnh báo tới kỹ thuật viên kịp thời dừng thiết bị phát có lỗi chất lượng - Chương trình vision phát dị vật, bóng khí, dán lệch có kích thước lớn 0.3mm, áp dụng thực tế bắt dị vật lớn 0.27 mm (mức độ gây lỗi sản phẩm) - Thời gian xử lý nhanh nằm tact time sản xuất nhà máy, không ảnh hưởng đến sản lượng sản xuất thiết bị - Tính xác triển khai thực tế chương trình đạt 92.59% - Chương trình giao tiếp xác với chương trình PLC thiết bị Trong thời gian tới tơi tiếp tục tìm hiểu thêm thuật toán xử lý ảnh (machine learning…) để tối ưu phát triển nâng cao tính chinh xác chương trình Ngồi tơi tiếp tục lên kế hoạch để mở rộng vai trò vision computer vai trị giám sát chất lượng khơng với đối tượng nghiên cứu mà cịn phát thêm đối tượng lỗi khác Crack (vết đứt, gãy), Scratch (vết xước), Shrinkage (vết đâm vùng cạnh sản phẩm).Bên cạnh phát triển hệ thống tự động xử lý vấn đề thay cho kỹ thuật viên( tự động vệ sinh thấy dị vật sử dụng khí thổi, bàn chải,…) 62 ` TÀI LIỆU THAM KHẢO [1] Huasheng Zhu, Jiner Lei, Xiumei Tian "A pattern recognition system based on computer vision - The method of Chinese chess recognition", 2008 IEEE International Conference on Granular Computing, IEEE, 2008-Aug.pp 870-875 [2] Nguyễn Đình Đăng, Tạp chí mỹ thuật nhiếp ảnh số 11/2013 pp 22-27, số 12/2013 pp 22-28, số 1+2/2014 pp 89-95 [3] Richard Szeliski (30 September 2010) Computer Vision: Algorithms and Applications Springer Science & Business Media.Chapter pp 89-115 [4] Danial Lelis Baggio, “Mastering OpenCV with Practical computer vision projects”, Pactk Pulishing 2012, pp 148-170 [5] Danial Lelis Baggio, “Mastering OpenCV with Practical computer vision projects”, Pactk Pulishing 2012, pp 231-266 [6] J W Schoonahd; J D Gould; L A Miller (July 1973), "Studies of Visual Inspection", Ergonomics, Taylor & Francis, pp 365–379 [7] Micheal Beyeler, “Machine learning for OpenCV”, Pactk Pulishing 2017, pp 101 [8] Lilian pierson (2nd edition), “Data science for Dummies”, John Wiley & Sons, Inc [9] OpenCV, “Real-time computer vision with OpenCV”, https://opencv.org/ [10] Lim K, Hong Y, Choi Y, Byun H (2017), “Real-time traffic-sign recognition based on a general-purpose GPU and deep learning”, pp 1-18 [11] Eichner, M.; Breckon, T (2008) "Integrated speed limit detection and recognition from real-time video" pp 626-631 [12] M Holte, T Moeslund, P Fihl “Fusion of range and intensity information for view invariant gesture recognition,” In Proc of the IEEE Computer Society Conf on CVPR Workshops, 2008, pp 1-7 [13] J R Parker (2011), “Algorithms for Image Processing and Computer Vision”, 2nd edidtion 63 ` [14] Sadhna Sharma, "Template Matching Approach for Face Recognition System", International Journal of Signal Processing Systems Vol 1, No December 2013 [15] M Piccardi, "Background subtraction techniques: a review", 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat No.04CH37583) pp 3099-3103 [16] Gregor Miller; Sidney Fels; Steve Oldridge, "A Conceptual Structure for Computer Vision", 2011 Canadian Conference on Computer and Robot Vision.pp 168-174 64 ... trình sản xuất nhà máy sản xuất hình điện thoại - Ảnh hưởng của cố chất lượng nhà máy sản xuất hình điện thoại - Lý lựa chọn đề tài - Các phương pháp phát cố chất lượng - Lý thuyết xử lý ảnh ứng dụng. .. phát hiện, ngăn chặn đưa cảnh báo xuất cố liên quan tới lỗi chất lượng (có dị vật, bóng khí, dán lệch) ? ?Ứng dụng xử lý ảnh nhằm phát ngăn chặn cố chất lượng cơng nghệ sản xuất hình điện thoại? ?? Thuyết...` Lời cảm ơn Đề tài ? ?Ứng dụng xử lý ảnh nhằm phát ngăn chặn cố chất lượng cơng nghệ sản xuất hình điện thoại? ?? nội dung chọn để nghiên cứu làm luận văn tốt nghiệp