Phát hiện và loại bỏ tấm nền màn hình bị nứt trong công đoạn gia áp và liên kết tấm nền dựa trên công nghệ học sâu

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phát loại bỏ hình bị nứt công đoạn gia áp liên kết dựa công nghệ học sâu TRỊNH TÝ TRUNG trung.ttcb20180015@sis.hust.edu.vn Ngành Kỹ thuật điện tử Giảng viên hướng dẫn: TS Nguyễn Thành Hùng Chữ ký GVHD Viện: Cơ khí HÀ NỘI, 05/2020 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : TRỊNH TÝ TRUNG Đề tài luận văn: Phát loại bỏ hình bị nứt cơng đoạn gia áp liên kết dựa công nghệ học sâu Chuyên ngành: Kỹ thuật Cơ điện tử Mã số SV: CB180015 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 08/5/2020 với nội dung sau: Bổ sung kết luận chương luận văn Sửa lỗi tả Sửa fomat Bổ sung trích dẫn Làm rõ đóng góp phương pháp đề xuất Ngày12 tháng 05 năm 2020 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Mẫu 1c ĐỀ TÀI LUẬN VĂN Tên đề tài (tiếng Việt): Phát loại bỏ hình bị nứt công đoạn gia áp liên kết dựa công nghệ học sâu Tên đề tài (tiếng Anh): Panel crack detection in Pressure and bonding Process based on Deep learning technique Giáo viên hướng dẫn Ký ghi rõ họ tên LỜI CẢM ƠN Em xin chân thành cảm ơn Thầy giáo, Tiến sĩ Nguyễn Thành Hùng, người hướng dẫn tận tình cho em suốt thời gian tìm hiểu, nghiên cứu hồn thành luận văn từ lý thuyết đến việc ứng dụng sản xuất Sự hướng dẫn tận tình thầy giúp em có thêm nhiều kiến thức liên quan đến xử lý ảnh ứng dụng thực tế môi trường công nghiệp Đồng thời em xin cảm ơn q thầy, viện khí, đặc biệt thầy cô môn Cơ điện tử - Trường Đại học Bách khoa Hà Nội, trang bị cho em nhiều kiến thức cần thiết suốt thời gian học tập, nghiên cứu trường để em hồn thành luận văn Trong suốt q trình học thời gian làm luận văn khơng tránh khỏi thiếu sót, em mong nhận góp ý q thầy, bạn để luận văn em hoàn thiện Em xin chân thành cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn trình bày việc phát hình bị nứt công đoạn gia áp liên kết nhà máy Samsung Display Việt Nam Mục đích: Giảm thiểu cách tối đa lỗi liên quan đến vỡ nhằm giảm phát sinh chi phí sản xuất, tối đa hóa lợi nhuận, giảm giá thành sản phẩm Mục tiêu luận văn thực hiện: Phát vết nứt – đưa cảnh báo: Sử dụng công cụ xử lý ảnh, phát đưa cảnh báo cách xác vết nứt công đoạn cho kỹ thuật viên phán định Phương pháp thực hiện: Sử dụng thuật toán tách chân điện cực chuỗi chân điện cực cần kiểm tra phán định, sử dụng phương pháp Deep Learning để training đối tượng mẫu sử dụng kết cho việc thực phát vết nứt Công cụ sử dụng: Microsoft Visual 2017, Python 3.8.2, Anaconda, Office 2013… Kết luận văn: Phù hợp yêu cầu đặt tỉ lệ nhận biết vết vỡ lên đến 98% Định hướng phát triển:Ứng dụng phương pháp Deep Learing thêm cho cơng đoạn đóng gói sau hoàn thành sản xuất Hà Nội, Ngày 10 tháng năm 2020 Học viên Trịnh Tý Trung MỤC LỤC MỞ ĐẦU CHƯƠNG I: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Giới thiệu công nghệ LCD công đoạn gia áp liên kết ………………………………………………………………………… 1.1.1 Tổng quan hình LCD 1.1.2 Cấu tạo hình LCD 1.1.3 Thành phần hình tinh thể lỏng 1.1.4 Giới thiệu công đoạn gia áp liên kết (OLB) 1.2 Tổng quan vết nứt lỗi phát sinh công đoạn gia áp liên kết 1.2.1 Tổng quan vết nứt công đoạn gia áp liên kết ………………………………………………………………………7 1.2.2 Các nguyên nhân gây vỡ, nứt LCD 1.3 Tổng quan thị giác máy tính xử lý ảnh 10 1.3.1 Tổng quan thị giác máy tính 10 1.3.2 Giới thiệu xử lý ảnh 10 1.3.3 Những vấn đề xử lý ảnh 14 1.3.4 Các thành phần hệ thống xử lý ảnh 17 1.3.5 Những vấn đề khác xử lý ảnh 18 CHƯƠNG II: CÁC PHƯƠNG PHÁP XỬ LÝ ẢNH VÀ LỰA CHỌN 21 2.1 Phương pháp tách (Background subtraction) 21 2.1.1 Phương pháp frame diffirencing 21 2.1.2 Phương pháp lọc trung bình Mean filter 21 2.1.3 Phương pháp Running Gaussian average 22 2.1.4 Phương pháp mơ hình gausian hỗn hợp (GMM) 23 2.2 Phương pháp Template Matching 23 2.2.1 Biến đổi Laplacian Gaussian 24 2.2.2 Phương pháp sai lệch Gaussian 25 2.2.3 Định thức Hessian 25 2.2.4 Phép lai toán tử Laplacian định thức toán tử Hessian …………………………………………………………………… 26 2.2.5 Phát đối tượng theo vi sai thích nghi với biến đổi affine 26 2.3 Phương pháp AI, học máy học sâu (AI, Machine Learning & Deep Learning) 27 2.3.1 Region-based Convolutional Network (R-CNN) 28 2.3.2 Fast R-CNN 28 2.3.3 Faster R-CNN 29 2.3.4 R-FCN 30 2.3.5 Yolo 32 2.3.6 SSD 33 2.3.7 Mask R-CNN 35 2.3.8 So sánh phương pháp xử lý ảnh lựa chọn 36 CHƯƠNG III: XÂY DỰNG THUẬT TOÁN PHÁT HIỆN VẾT NỨT 38 3.1 Xây dựng thuật toán xử lý ảnh 38 3.1.1 Giới thiệu ảnh thu từ hệ thống 39 3.2 Phát tọa độ điểm mark xác định tọa độ chân điện cực 40 3.3 Tách chân điện cực lead 41 3.4 Quá trình học sâu phát vết nứt 42 3.4.1 Khái niệm Neural Network 42 3.4.2 Ảnh đầu vào ( input) 44 3.4.3 Tensor 46 3.4.4 Convolution layer 47 3.4.5 Active funtion 48 3.4.6 Pooling 51 3.4.7 Flatten 53 3.4.8 Fully Connected layer 54 3.4.9 Kết training thực tế 54 CHƯƠNG IV: THIẾT KẾ HỆ THỐNG CƠ KHÍ VÀ XÂY DỰNG THUẬT TOÁN ĐIỀU KHIỂN 58 4.1 Tính tốn thiết kế hệ thống khí 58 4.1.1 Yêu cầu thiết kế chung 58 4.1.2 Mơ hình đề xuất 58 4.1.3 Lựa chọn phận hệ thống kiểm tra 59 4.2 Xây dựng thuật toán điều khiển 65 4.2.1 Thuật toán điều khiển cấu chấp hành 65 4.2.2 Xây dựng hệ thống phần cứng 66 4.3 Đánh giá 68 4.3.1 Kiểm chứng kích thước vết nứt kiểm tra 68 CHƯƠNG V: KẾT LUẬN 72 5.1 Kết đạt 72 5.1.1 Xây dựng thành công phần mềm vision kiểm tra vết nứt bề mặt …………………………………………………………………… 72 5.2 Hạn chế định hướng phát triển đề tài 72 TÀI LIỆU THAM KHẢO 73 DANH MỤC HÌNH VẼ Hình 1 Cấu trúc hình tinh thể lỏng khơng cần nguồn sáng Hình Công đoạn gia áp liên kết nhà máy sản xuất hình LCD Hình Một số hình ảnh vỡ Hình Lỗi vỡ từ nguyên liệu đầu vào Hình Lỗi vỡ glass từ công đoạn dán PO Hình Vỡ lỗi dị vật gia áp liên kết Hình Một số dị vật ảnh hưởng đến gia áp liên kết Hình Các bước xử lý ảnh 11 Hình Sơ đồ phân tích & xử lý ảnh Lưu đồ thơng tin khối 13 Hình 10 Lân cận điểm ảnh tọa độ (x;y) 15 Hình 11 Các thành phần hệ thống xử lý ảnh 17 Hình 12 Một hệ thống xử lý ảnh 18 Hình Mạng Region-based Convolutional Network [21] 28 Hình 2 Mơ hình R-CNN [9] 29 Hình Cấu trúc Fast R-CNN [9] 29 Hình Mơ hình Faster R-CNN [17] 30 Hình Phương pháp phát hộp cố định cho cửa sổ 3x3 [30] 30 Hình Cấu trúc R-FCN [11] 31 Hình Hình ảnh trực quan ROI trùng với đối tượng [12] 31 Hình Hình ảnh trực quan ROI khơng trùng với đối tượng [12] 32 Hình Một ví dụ YOLO [31] 32 Hình 10 Cấu trúc YOLO [14] 33 Hình 11 So sánh SSD YOLO [14] 34 Hình 12 SSD framework [16] 34 Hình 13 Một số ví dụ kết Mask R-CNN [10] 35 Hình Sơ đồ lắp đặt hệ thống xử lý ảnh 38 Hình Sơ đồ thuật tốn chương trình kiểm tra loại bỏ NG 39 Hình 3 Hình ảnh camera thu chụp 40 Hình Thơng số tọa độ kích thước theo chân điện cực 41 Hình Hình ảnh điểm mark sau xác định tọa độ 41 Hình Hình ảnh chân Lead xác định thơng qua thơng số nhà sản xuất 42 Hình Tế bào thần kinh [18] 43 Hình Quá trình training nhận diện đối tượng dựa vào mạng CNN 44 Hình Ảnh màu biểu diễn dạng tensor [20] 46 Hình 10 Convolution layer tổng quát 47 Hình 11 Ví dụ convolution layer [21] 47 Hình 12 Một số kernel phổ biến [22] 48 Hình 13 Hàm Sigmoid 49 Hình 14 Hàm Tanh 50 Hình 15 Đồ thị hàm ReLU 51 Hình 16 Ví dụ pooling layer 52 Hình 17 Ví dụ Max-Pooling 52 Hình 18 Average Pooling 52 Hình 19 Max pooling layer với size (3,3), stride 1, padding = 53 Hình 20 Sau pooling layer (2*2) [21] 53 Hình 21 Flatten layer 54 Hình 22 Fully connected layer 54 Hình 23 Chân điện cực đánh số theo thứ tự 55 Hình 24 Kết phát bị vỡ sau trình bonding sản phẩm 56 Hình 25 Kết thử nghiệm với panel vỡ sử dụng yolo training 56 Hình Hình ảnh thực tế camera linear scan lắp thiết bị kiểm tra 59 Hình Camera Cognex sử dụng align 60 Hình Các thành phần tiêu chuẩn hệ thống Camera In-Sign 5100 60 Hình 4 Sơ đồ lắp đặt mạng hạ tầng nhà máy với camera In-Sigh Cognex 61 Hình Sơ đồ Conector Camera In – Sign 5100 62 Hình PC điều khiển thiết bị kiểm tra vỡ 62 Hình Hình ảnh camera Linearscan TELEDYNE DALSA 64 Hình Sơ đồ lắp ráp cấu kiểm tra dây chuyền sản xuất 65 Hình Sơ đồ thuật toán điều khiển cấu chấp hành 65 Hình 10 Hệ thống thực tế thiết bị OLB 66 Hình 11 Giao diện Auto chương trình 68 DANH MỤC BẢNG BIỂU Bảng : So sánh phương pháp phát đối tượng học sâu 36 Bảng Kết kiểm chứng khả bắt vết nứt theo model 69 Bảng Tỷ lệ phát xác vết nứt 10 ngày 70 Do đặc thù cần thiết kế mỏng đẻ phù hợp với thị hiếu người tiêu dùng nay, điểm gia áp liên kết phải nhỏ đường mạch kết nối với PCB phải trở nên nhỏ để đáp ứng yêu cầu Do đó, camera lựa chọn cần phải đáp ứng đủ tiêu chuẩn hiển thị phần vị trí gia áp liên kết để phục vụ trình xử lý ảnh nên cần lựa chọn kỹ Dựa yêu cầu thiết bị, lựa chọn camera hãng TELEDYSE DALSA – Piranha HS cho trình kiểm tra vị trí gia áp liên kết  Đặc tính Camera Piranha HS – xx - 4096 8192 pixels, 7µm x 7µm 14µm x 14µm (HS-82) pixel, Hệ số lấp đầy 90% - vịi, chiều TDI - Thơng lượng lên tới 160, 320 640 megapixel/ giây - Tốc độ đường truyền lớn 100 kHz (Model HS-82) - Chống mờ hình ảnh 100x - Khả đáp ứng băng thơng rộng 1170DN (nJ/cm²) - vùng hình ảnh độc lập Độ trễ thời gian Tích hợp (TDI) cho độ nhạy để người dùng kiểm soát - Tuân thủ CE - Các model tuân thủ theo RoHS: HS-80-04K40, HS-80-08K40, HS-80-08K80, HS-82-04K80 Thông số Module Mô tả HS-40-04K40 Độ phân giải 4k, vịi lập trình, thông lượng lên tới 160 megapixel / giây, tốc độ nhấp nháy 40/80 MHz, Cấu hình liên kết Camera trung bình HS-80-04K40 Độ phân giải 4k, vịi lập trình, thơng lượng lên tới 320 megapixel / giây, tốc độ nhấp nháy 40/80 MHz, cấu hình Liên kết Camera trung bình Full Tuân thủ RoHS 63 HS-80-08K40 Độ phân giải 8k, vịi lập trình, thơng lượng lên tới 320 megapixel / giây, tốc độ nhấp nháy 40/80 MHz, cấu hình Liên kết Camera trung bình Full Tuân thủ RoHS HS-80-08K80 Độ phân giải 8k, vịi lập trình, thơng lượng lên tới 640 megapixel / giây, tốc độ nhấp nháy 40/80 MHz, cấu hình Liên kết Camera trung bình Full Tuân thủ RoHS HS-82-04K80 Độ phân giải 4k, vịi lập trình, thơng lượng lên tới 640 megapixel / giây, tốc độ nhấp nháy 40/80 MHz, tốc độ đường truyền 100 kHz, cấu hình Liên kết máy ảnh trung bình Full Tuân thủ RoHS Dựa theo yêu cầu thiết bị, lựa chọn HS-80-4k40  Động dẫn động trục X camera kiểm tra Yêu cầu: Động dẫn động trục X phải hoạt động bền bỉ, khơng rung lắc q trình hoạt động, độ xác cao phù hợp với yêu cầu thiết bị kiểm tra Có thể cân nhắc hai lựa chọn động Servo Motor Linear Motor - Biến điện thành Hình Hình ảnh camera Linearscan TELEDYNE DALSA - Có thể thay đổi tốc độ vị trí thời gian ngắn - Khả đáp ứng yêu cầu ổn định tốc độ cao 64 Kết luận: Lựa chọn động Linear Motor Hình Sơ đồ lắp ráp cấu kiểm tra dây chuyền sản xuất 4.2 Xây dựng thuật toán điều khiển 4.2.1 Thuật tốn điều khiển cấu chấp hành Để xây dựng thuật toán điều khiển cho cấu chấp hành, ta cần đưa bước thực trình kiểm tra Hình Sơ đồ thuật toán điều khiển cấu chấp hành 65 4.2.2 Xây dựng hệ thống phần cứng Hệ thống lắp đặt camera vision thực tế dây chuyền sản xuất Hình 10 Hệ thống thực tế thiết bị OLB Mô tả hệ thống: Hệ thống lắp đặt thiết bị kiểm tra sau hoàn thành công đoạn gia áp liên kết Hệ thống phần cứng gồm 02 camera Cognex InSight series 5000 với độ phân giải 10 Mega pixel camera linear scale Pizanha với độ phân giải lên đến 108 pixel để chụp ảnh với độ phân giải cao Phía đèn led (lamp) điều khiển cường độ sáng controller để soi vị trí trước đưa vào vị trí kiểm tra align chân lead Đèn lắp theo dạng lightning chuẩn trực camera cho ánh sáng đồng Phía bên thiết bị (bên ngồi máy, khơng có ảnh 4.1) có 01 PC xử lý ảnh từ camera gửi qua cổng Ethernet Ngồi chương trình C++ giao tiếp với PC, motor di chuyển stage, chuông cảnh báo để điều khiển hoạt động hệ thống Nguyên lý hoạt động hệ thống: Chương trình C++ điều khiển động trục X,Y,Theta stage vị trí cố định thiết lập (vị trí camera nhìn rõ vết nứt nhất) sau gửi tín 66 hiệu stage đến vị trí chụp ảnh cho PC Sau nhận tín hiệu C++, PC điều khiển camera chụp ảnh của Ảnh sau chụp phân tích xử lý qua chương trình xử lý ảnh Sau nhận ảnh gửi từ camera chương trình vision bắt đầu kiểm tra vết nứt phương pháp deep learning liệu cho trước với hình ảnh chân điện cực lead với chất lượng bonding tiêu chuẩn công đoạn yêu cầu ( số hạt dẫn điện ≥ 7, khoảng bonding ≥ 400  m ) Sau chương trình vision kiểm tra vết nứt trả kết OK/NG ( NG – Not Good: nghi ngờ có vết nứt nền) tín hiệu truyền xuống chương trình C++ điều khiển chuyển động bàn Stage để C++ điều khiển thiết bị: - Trường hợp không phát vết nứt (OK) nền, C++ điều khiển cho thiết bị tiếp tục sản xuất bình thường - Trường hợp phát vết nứt nghi ngờ (NG) C++ điều khiển chuông báo (alarm) điều khiển dừng thiết bị để kỹ thuật viên đến xác nhận xử lý thiết bị Đặc biệt, thời gian xử lý ảnh trương trình t < 1.3s nên khơng ảnh hưởng đến Tact time ( thời gian để sản xuất 01 đơn vị sản phẩm thiết bị) đảm bảo hiệu suất hoạt động tối đa thiết bị Giao diện phần mềm vision kiểm tra vết nứt bề mặt Phần mềm thiết kế gồm bốn giao diện chính: - Giao diện Auto: Giao diện hoạt động chương trình hiển thị kết kiểm tra - Giao diện Teach: Giao diện để setting chương trình - Giao diện Data: Giao diện để bật/tắt chức - Giao diện Camera: Giao diện để chọn camera Giao diện Auto 67 Đây giao diện máy chạy bình thường, kết kiểm tra vết nứt bề mặt hiển thị Hình 11 Giao diện Auto chương trình Cấu trúc giao diện gồm: (1) Lựa chọn kiểm tra loại model sản phẩm khác ( HD, FHD, UHD…) (2) Xác nhận OK – NG: Sử dụng có cảnh báo nứt, vỡ trình kiểm tra ( dành cho kỹ thuật viên xác nhận) (3) Lối tắt vào giao diện cài đặt thông số kiểm tra (4) Ảnh kết kiểm tra: hiển thị ảnh bề mặt sau chương trình xử lý ảnh kiểm tra Nếu phát vết nứt vị trí vết nứt khoanh đỏ (5) Lịch sử kiểm tra: Hiển thị lịch sử Cell ID kiểm tra qua máy kiểm tra crack panel 4.3 Đánh giá 4.3.1 Kiểm chứng kích thước vết nứt kiểm tra Chọn mẫu vết nứt từ bị vỡ phát trình kiểm tra người trước Các nhóm mẫu vết nứt cell ID tùy theo model sản 68 phẩm cụ thể Sau ta lấy ảnh tham chiếu ảnh khơng có phát sinh crack để đưa đến thiết bị kiểm tra Bảng kết chúng tơi thu vết nứt phát Model Cell ID Kết phát Hình ảnh vết nứt 32 inch 8GHI40C4IK 40 inch 7SGE8HK05B 49 inch 7GDS4K54K3 55 inch 8GDH4H56DF 65 inch 8HIELACH0B Bảng Kết kiểm chứng khả bắt vết nứt theo model Chương trình phát 100% vết vỡ khu vực bonding Trong tương lai tiếp tục cải tiến hệ thống với camera kiểm tra tồn bề mặt gia áp liên kết Tỷ lệ xác theo ngày 69 Tiến hành setup hệ thống thiết bị kiểm tra kết phát vết nứt 10 ngày liên tiếp Kết quả: tỷ lệ bắt xác vết nứt theo chương trình vision khoảng 98.99% sau kiểm chứng 10 ngày liên tiếp với số lượng sản phầm 19.260 ea Day Số lượng sản suất Số lần Alarm NG Số lần comfirm Tỷ NG lệ 1823 18 99.01% 1959 22 98.88% 2043 24 98.83% 1798 17 99.05% 1853 21 98.87% 2101 18 99.14% 1981 22 98.89% 1890 19 98.99% 1953 18 99.08% 10 1859 16 99.14% 19.5 98.99% Ave 1926 bắt Bảng Tỷ lệ phát xác vết nứt 10 ngày ~1.01% cảnh báo sai ánh sáng chiếu lên bề mặt bị thay đổi nhiều camera chụp ảnh bề mặt ánh sáng bên thiết bị (bề mặt bị soi đèn pin) bề mặt bị rung động mạnh vào vị trí chụp ảnh (vì động bề mặt hoạt động không ổn định) 4.3.2 So sánh hiệu sau thời gian áp dụng vision camera check vết nứt Cho đến trước chương trình vision áp dụng để đưa vào quản lý việc phát sinh vết nứt bề mặt bề mặt có vào phương pháp quản lý khác áp dụng nhà máy sản xuất hình LCD Tuy nhiên phương pháp hầu hều phương pháp thủ công bán thủ công nên bị 70 hạn chế phụ thuộc người khơng kiểm sốt 100% sản lượng thiết bị Khi áp dụng chương trình vision kiểm tra vết nứt vào sản xuất khắc phục hoàn toàn nhược điểm phương pháp trước áp dụng 71 CHƯƠNG V: KẾT LUẬN 5.1 Kết đạt 5.1.1 Xây dựng thành công phần mềm vision kiểm tra vết nứt bề mặt Phần mềm vision kiểm tra vết nứt stage thỏa mãn mục tiêu đặt “scope of study”: - Phát vết nứt bề mặt - Thời gian xử lý ảnh ~1.27s cho Tab IC chứa chân điện cực Mô tả phần mềm vision kiểm tra vết nứt xây dựng Phần mềm nghiên cứu xây dựng dựa hoàn cảnh yêu cầu thực tế từ hoạt động sản xuất nhà máy sản xuất hình LCD đặt nhằm phát sớm vết nứt bề mặt panel để giảm thiểu tối đa phát sinh lỗi chất lượng hình LCD Phần mềm xây dựng thành công công cụ lập trình C# thư viện hàm xử lý ảnh OPENCV YOLO Phần mềm xây dựng hoạt động tảng từ Window Phần mềm vision xây dựng cài đặt thành công thiết bị OLB nhà máy Chương trình có nhiệm vụ nhận ảnh chụp từ camera sau tiến hành bước xử lý ảnh để phát vết nứt bề mặt sau trả kết cho chương trình C++ để C++ điều khiển hoạt động thiết bị 5.2 Hạn chế định hướng phát triển đề tài Hạn chế: - Chương trình phát vết nứt vị trí bonding - ~