ứng dụng công nghệ xử lý ảnh để kiểm tra mức dịch chiết và bọt trên bề mặt dịch chiết trong lọ yến sau khi thành phẩm

TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN VIẾT HOÀNG ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH ĐỂ KIỂM TRA MỨC DỊCH CHIẾT VÀ BỌT TRÊN BỀ MẶT DỊCH CHIẾT TRONG LỌ YẾN SAU KHI THÀNH PHẨM APPLICATION OF IMAGE PROC

TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGUYỄN VIẾT HOÀNG

ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH ĐỂ KIỂM TRA MỨC DỊCH CHIẾT VÀ BỌT TRÊN BỀ MẶT DỊCH CHIẾT

TRONG LỌ YẾN SAU KHI THÀNH PHẨM

APPLICATION OF IMAGE PROCESSING TECHNOLOGY FOR INSPECTING EXTRACT LEVEL AND FOAM PRESENCE ON THE SURFACE OF SWIFTLET NEST

EXTRACT IN JARS AFTER PROCESSING

Chuyên ngành: Kỹ thuật Cơ điện tử Mã số: 8520114

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 01 năm 2024

Công trình được hoàn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM

Cán bộ hướng dẫn khoa học : PGS TS Ngô Hà Quang Thịnh

3 Phản biện 1: TS Nguyễn Huy Hùng

4 Phản biện 2: PGS TS Đỗ Xuân Phú

5 Ủy viên: TS Dương Văn Tú

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CƠ KHÍ

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: NGUYỄN VIẾT HOÀNG MSHV: 2070303 Ngày, tháng, năm sinh: 20-02-1995 Nơi sinh: Khánh Hòa Chuyên ngành: Kỹ thuật Cơ Điện Tử Mã số : 8520114

II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu phương án kiểm tra mức dịch chiết trong

lọ yến, phương án phát hiện bọt trên bề mặt dịch chiết Ứng dụng các phương án xử lý ảnh trên vào hình ảnh sản phẩm thực tế để kiểm tra tính khả thi của các phương án

III NGÀY GIAO NHIỆM VỤ : (Ghi theo trong QĐ giao đề tài) 06/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo trong QĐ giao đề tài)

LỜI CẢM ƠN

Đầu tiên tôi xin gửi lời cảm chân thành tới thầy PGS.TS Ngô Hà Quang Thịnh đã nhiệt tình đốc thúc, hướng dẫn để tôi có thể hoàn thành luận văn và củng cố thêm nhiều kỹ năng cho mình

Tôi cũng xin cảm ơn tất cả các thầy cô chuyên ngành cơ điện tử và chương trình PFIEV trường đại học bách khoa đã truyền đạt kiến thức cần thiết cho tôi trong những năm học ở trường

Tôi xin gửi lời cảm ơn đến ban giám đốc, quản lý công ty cổ phần Sanest Khánh Hòa đã hỗ trợ tôi thực hiện luận văn

Tôi xin gửi lời cảm ơn tới các bạn cùng khóa bảo vệ được thầy Ngô Hà Quang Thịnh hướng dẫn đã nhiệt tình giúp đỡ tôi hoàn thành luận văn

Do hạn chế về thời gian tìm hiểu và thực hiện luận văn nên chắc chắn còn nhiều thiếu sót, tôi rất mong nhận được góp ý từ các thầy để có cái nhìn sâu sắc hơn về đề tài luận văn này.

TÓM TẮT LUẬN VĂN

Luận văn ứng dụng phương pháp xử lý ảnh để kiểm tra chất lượng lọ yến bao gồm mức dịch chiết và kiểm tra sự xuất hiện của bọt trên bề mặt dịch chiết Kết quả thu được trên hình ảnh tĩnh cho thấy việc sử dụng các phương pháp này là khả thi, có thể ứng dụng trên hình ảnh thực tế khi lọ yến chạy trên băng tải

Kết quả đầu tiên là kiểm tra mức dịch chiết, ảnh lọ yến được chụp lại bằng camera Sau đó lọ yến được định vị bằng cách sử dụng một đường quét nằm ngang đi qua nắp lọ Các giá trị pixel thu được từ đường quét này được lấy ra để phân tích Quá trình phân tích dựa theo phương pháp phát hiện cạnh sử dụng đạo hàm bậc nhất, và đã áp dụng các kỹ thuật nội suy ảnh khác nhau để tăng cường độ chính xác trong quá trình tìm các cạnh thực Toán tử giảm nhiễu Gaussian cũng được sử dụng để loại bỏ các nhiễu gây ra cực trị sai lệch trong đạo hàm bậc nhất, thông số sigma của toán tử Gaussian đã được điều chỉnh để tối ưu hóa việc loại bỏ nhiễu mà vẫn giữ được thông tin cần thiết về cạnh Sau đó ngưỡng cực trị được áp dụng để xác định vị trí của các cạnh trên đường ngưỡng này, và sử dụng tiếp một ngưỡng khoảng cách kép để giảm bớt các cạnh không thật Các điểm cực trị được xác định giúp định vị được các điểm trên nắp lọ yến Sau đó phương pháp tương tự được sử dụng để xác định mức dịch yến, đó là sử dụng các đường quét dọc đi qua các điểm trên nắp lọ yến và cho các đường này đi qua mức dịch, sau đó phân tích tương tự như khi xác định vị trí nắp lọ yến để xác định mức dịch

Kết quả thứ hai là kiểm tra sự hiện diện của bọt trên mức dịch chiết, sử dụng phân tích thống kê trong một vùng kiểm tra cụ thể được tạo ra xung quang điểm xác định mức dịch chiết Các thống kê trong vùng này gồm giá trị pixel trung bình, giá trị độ lệch chuẩn pixel trung bình Sau đó thử nghiệm trên các trường hợp lọ yến có bọt và không có bọt cho thấy các giá trị pixel này khác nhau, dựa vào đó chọn ngưỡng pixel phù hợp đối với dịch yến có bọt và dịch yến không có bọt

Kết quả thứ ba là xét trong trường hợp có 2 lọ yến bị dính liền nhau khi chạy trên băng tải kiểm tra Sử dụng phương pháp tương tự kết quả đầu tiên, nhưng tăng

độ dài đường quét ngang dài hơn để đi qua 2 nắp lọ yến Ngoài ra có chọn ngưỡng kép không quá lớn giữa các cực trị trên đường nằm ngang này để kẹp chiều dài vành sắt lọ yến nằm trong ngưỡng kép này

This thesis deploys image processing techniques to evaluate the quality of jars of bird's nest, including checking both the level of extraction and the presence of air bubbles on the extraction surface Static image analysis demonstrated the feasibility of using these methods, and confirmed that they can be effectively applied on real-life images when jars of bird's nest are transported through conveyor belts

The first step in the testing process is to assess the level of extraction, with photographing the bird's nest jar with a camera Next, the jars is located through the use of a line scanned across the jars cap The pixel data collected from this scan line is then analyzed This analysis is based on edge detection techniques using first derivatives, combined with multiple image interpolation techniques to enhance the accuracy in identifying true edges Gaussian noise reduction is also applied to remove image noise that distorts the first derivative results, with adjusting the sigma parameter of the Gaussian filter to optimize noise removal while still preserving the necessary information about the edge Extreme thresholding is then applied to determine the position of edges on the threshold line, along with the use of a distance threshold to minimize the appearance of unreal edges The extreme points are determined thereby helping to locate the points on the jars lid The same method is then applied to evaluate the level of extraction, using a vertical scan line passing through defined points on the cap and across the extraction level, with the same analytical process as when determining position of the cap to quantify the level of extraction

The second outcome focuses on checking for the presence of air bubbles in the extract, through the use of statistical analysis in a test area established around the point where the extract level is determined The statistical parameters considered include the mean value of the pixels and the standard deviation of the mean pixel value Subsequent tests on foamed and non-foamed bird's nest jars showed a clear difference in these pixel values, from which an appropriate pixel threshold was selected for distinguishing between foamed and foamed bird's nest liquid no foam

The third result refers to the situation when two jars of bird's nest stick together during movement on the inspection conveyor belt The method applied here is similar to that used for the first result, but with the length of the horizontal scanning line extended so that it can scan over both lids of the bird's nest jar Besides, a double threshold that is not too high is set between the extreme points on this scan line, aiming to clamp the length of the iron rim of the bird's nest jar within the range of the double threshold

LỜI CAM ĐOAN CỦA TÁC GIẢ LUẬN VĂN

Tôi xin cam đoan luận văn là công trình nghiên cứu được thực hiện bởi chính cá nhân mình, tôi đã đọc các thông tin nghiên cứu, dịch tài liệu khác nhau và tổng hợp các kiến thức trên các tài liệu, bài báo, trang web để hoàn thiện nên bài luận văn này

Những lý thuyết, hình ảnh, công thức, tài liệu, bảng biểu phục vụ cho việc phân tích và dẫn dắt đề tài được trình bày trong luận văn đều được soạn thảo từ các tài liệu mà tôi đã tham khảo và được trích rõ ràng ở phần tài liệu tham khảo

Tất cả các kết quả số liệu trong luận văn dưới đây đảm bảo trung thực và chưa từng được công bố ở bất kỳ công trình nghiên cứu nào khác trước đây

Học viên

Nguyễn Viết Hoàng

MỤC LỤC

CHƯƠNG 1: TỔNG QUAN 1

1.1 Giới thiệu chung và đặt vấn đề 1

1.1.1 Sự phát triển của công nghệ kiểm tra chất lượng sản phẩm 1

1.1.2 Các công ty và tổ chức nghiên cứu liên quan 2

1.2 Phạm vi của đề tài 10

1.3 Phương pháp thực hiện 11

1.4 Các công trình nghiên cứu liên quan 11

1.4.1 Các nghiên cứu về phát hiện bề mặt dịch chiết- không khí 12

1.4.2 Nghiên cứu về phát hiện bọt 18

1.5 Nhìn nhận vấn đề và mục tiêu đề tài 20

1.5.1 Vấn đề cần giải quyết 20

1.5.2 Mục tiêu chính của đề tài 21

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ MÔ HÌNH HÓA CÁC NGHIÊN CỨU LIÊN QUAN 23

2.1 Giới thiệu phát hiện cạnh trong xử lý ảnh 23

2.2 Tác động của nhiễu 24

Phương pháp loại bỏ nhiễu trong hình ảnh: 25

2.3 Các phương pháp phát hiện cạnh thường gặp 27

2.2.1 Phương pháp phát hiện cạnh gradient bậc nhất 29

2.2.2 Các toán tử của phương pháp phát hiện cạnh gradient bậc nhất 31

2.2.3 Công thức phát hiện cạnh Laplacian of Gaussian 34

2.2.4 Công thức phát hiện cạnh Canny 38

2.2.5 Ứng dụng của phương pháp đạo hàm vào hình ảnh 44

2.2.6 Phương pháp phát hiện cạnh deep learning 46

2.2.7 Nội suy hồi quy quadratic 48

2.4 Tính mới của luận văn 50

CHƯƠNG 3: XÂY DỰNG PHƯƠNG ÁN KIỂM TRA MỰC NƯỚC TRONG LỌ YẾN 52

3.1 Quy trình thuật toán xử lý hình ảnh 52

3.2 Phương pháp xác định mức dịch của lọ yến 52

3.3 Phương pháp xác định bọt trên bề mặt dịch chiết trong lọ yến 61

CHƯƠNG 4: KẾT QUẢ CỦA PHƯƠNG ÁN XỬ LÝ ẢNH KHI ÁP DỤNG LÊN SẢN PHẨM 63

4.1 Kết quả xác định mức dịch chiết 63

4.2 Kết quả kiểm tra sự hiện diện của bọt trên mức dịch chiết 73

4.3 Kết quả định vị trên hai lọ yến dính liền nhau 77

CHƯƠNG 5: KẾT LUẬN VÀ PHÁT TRIỂN 80

TÀI LIỆU THAM KHẢO 81

DANH MỤC HÌNH ẢNH

Hình 1 1: Sơ đồ sản xuất sản phẩm lọ yến tại nhà máy Sanest Khánh Hòa 1

Hình 1 2: Hệ thống phát hiện sản phẩm lỗi nắp chai, kiểm tra mã QR, kiểm tra lỗi sản phẩm [1] 2

Hình 1 3: Hệ thống theo dõi băng tải có robot nhặt bánh mì [2] 3

Hình 1 4: Hệ thống AI của Advantech phát hiện lỗi cho nhà máy sản xuất lọ giấy [3] 4

Hình 1 5: Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [4] 5

Hình 1 6: Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [5] 6

Hình 1 7: Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [6] 7

Hình 1 8: Dây chuyền nhà máy sản xuất nước coca-cola [7] 8

Hình 1 9: Hệ thống máy chiết rót của công ty nước giải khát Sanest Khánh Hòa [8] 10

Hình 1 10: Hệ thống máy đóng block màng co của công ty nước giải khát Sanest Khánh Hòa [8] 10

Hình 1 11: Hình ảnh gốc ban đầu của chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) 12

Hình 1 12: Hình ảnh thang đo màu xám của chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) 13

Hình 1 13: Hình ảnh áp dụng thuật toán phát hiện cạnh lên chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) 13

Hình 1 14: Hình ảnh tạo vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) 13

Hình 1 15: Hình ảnh các đường khoảng cách từ mực nước lên cạnh trên của vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) 14

Hình 1 16: Hình ảnh gốc của chai nước 15

Hình 1 17: Hình ảnh sau khi áp dụng phát hiện cạnh và xác định vùng kiểm tra(ROI) 16

Hình 1 18: Hình ảnh với Box 1, Box 2, và đường tham chiếu 16

Hình 1 19: Hình ảnh với các đường khoảng cách 17

Hình 1 20: Hình ảnh với đường chuẩn để kiểm tra mức nước 17

Hình 1 21: Xử lý ảnh trong vùng kiểm tra để ước lượng bọt trong ly bia 18

Hình 1 22: Hình ảnh phóng to của hình 1.21 (c), (d) 19

Hình 2 1: Đồ thị giá trị cường độ sáng (có những điểm nhiễu đáng kể) 24

Hình 2 2: Đồ thị đạo hàm bậc nhất trước khi áp dụng toán tử Gaussian (có những

điểm nhiễu đáng kể) 25

Hình 2 3: Kernel của toán tử Gaussian được lặp trên ảnh [18] 25

Hình 2 4: Đồ thị giá trị cường độ sáng trước và sau khi áp dụng toán tử Gaussian (có những điểm nhiễu đáng kể) 26

Hình 2 5: Đồ thị giá trị đạo hàm bậc nhất trước và sau khi áp dụng toán tử Gaussian (có những điểm nhiễu đáng kể) 27

Hình 2 6: Toán tử Gaussian áp dụng lên đường đi qua phân vùng khác nhau 28

Hình 2 7: Ảnh hưởng của nhiễu trên đồ thị cường độ sáng và các đạo hàm (màu cam: đồ thị không có nhiễu, màu xanh: đồ thị có nhiễu) 28

Hình 2 8: Mô tả phương pháp tìm ra cạnh trong phương pháp sử dụng đạo hàm bậc hai [20] 35

Hình 2 9: Hàm Laplacian ngược (dấu của hàm thay đổi) với 2, trong không gian một chiều và hai chiều [20] 38

Hình 2 10: Thuật toán Non-maximum suppression [24] 40

Hình 2 11: Khu vực pixel thực hiện Thuật toán Non-maximum suppression [24] 41

Hình 2 12: Khu vực pixel thực hiện thuật toán Non-maximum suppression [24] 41

Hình 2 13: Minh họa chuyển đổi cạnh [24] 43

Hình 2 14: Đối tượng và đồ thị cường độ sáng theo một cường thẳng lấy mẫu [25] 44

Hình 2 15: Đồ thị cường độ sáng (intensity profile), đạo hàm bậc nhất (first derivative), đạo hàm bậc hai (second derivative) trên đoạn lấy mẫu [25] 45

Hình 2 16: Minh họa các đối tượng bất thường trong phương pháp deep learning [27] 46

Hình 2 17: Minh họa kết quả phát hiện tính năng trong phương pháp deep learning về phân đoạn hình ảnh [28] 47

Hình 2 18: Minh họa kết quả các đối tượng được phát hiện trong phương pháp deep learning về phân loại đối tượng [29] 47

Hình 2 19: Minh họa kết quả các đối tượng được phát hiện trong phương pháp deep learning về phân đoạn đối tượng [30] 48

Hình 2 20:Nội suy hồi quy quadratic bậc 2 [32] 49

Hình 2 21: Kết quả của nội suy quadratic bậc 2 được sử dụng để khớp qua 11 điểm dữ liệu của hàm Runge [32] 50

Hình 3 1: Quy trình xử lý hình ảnh cho hệ thống kiểm tra lọ yến 52

Hình 3 2: Lưu đồ thuật toán xác định mức dịch chiết trong lọ yến 53

Hình 3 3: Hình ảnh lọ yến mẫu kèm vùng lấy giá trị pixel 54

Hình 3 4: Minh họa giá trị điểm nội suy của neareast neighbor và bilinear [35] 55

Hình 3 5: Sơ đồ minh họa cho công thức nội suy bilinear [36] 56

Hình 3 6: So sánh Nội suy nearest neighbor và nội suy bilinear [37] 56

Hình 3 7: Biểu đồ cường độ ảnh của đường thẳng đi qua đối tượng nằm trên nền ảnh

57

Hình 3 8: Biểu đồ cường độ ảnh sau khi làm mịn bằng toán tử Gaussian 57

Hình 3 9: Biên dạng cạnh và đạo hàm 58

Hình 3 10: Lắp một parabol vào ba điểm liên tiếp 58

Hình 3 11: Giá trị lớn của đạo hàm chỉ ra sự thay đổi cường độ ảnh nhanh, giá trị gần 0 thể hiện sự thay đổi chậm hoặc không đổi 59

Hình 3 12: Đường y = 5 và y = -5 là ngưỡng được chọn để xác định những vùng có khả năng là cạnh 60

Hình 3 13: Các trung điểm của các cặp cực trị còn giữ lại và vùng kiểm tra (ROI) đi qua điểm đó và mức dịch chiết 61

Hình 3 14: Lưu đồ thuật toán kiểm tra bọt trên bề mặt dịch yến 61

Hình 4 1: Đường thẳng lấy giá trị pixel 64

Hình 4 2: Đồ thị cho từng kênh màu trước khi nội suy 65

Hình 4 3: Đồ thị kết hợp ba kênh màu khi nội suy 65

Hình 4 4: Áp dụng hàm giảm nhiễu Gaussian với các giá trị  khác nhau 66

Hình 4 5: Đồ thị cường độ sau giảm nhiễu bằng toán tử Gaussian ( =5) 67

Hình 4 6: Đạo hàm bậc nhất sau giảm nhiễu bằng toán tử Gaussian ( =5) 67

Hình 4 7: Giao điểm của đạo hàm bậc 1 và y = 2, y = -2 68

Hình 4 8: Các cực trị tìm được từ ngưỡng kép y = 2 và y=-2 68

Hình 4 9: Các điểm cực trị còn giữ lại sau khi chọn ngưỡng khoảng cách tối thiểu và khoảng cách tối đa 69

Hình 4 10: Các điểm cực trị còn giữ lại cho kiểm tra mực chất lỏng 69

Hình 4 11: Vùng kiểm tra mức dịch chiết 69

Hình 4 12: Vùng kiểm tra mức dịch chiết thứ 1 70

Hình 4 13: Trắc đồ nội suy trung bình của vùng kiểm tra mức dịch thứ 1 70

Hình 4 14: Áp dụng toán tử Gaussian ( =5) lên vùng kiểm tra mức dịch thứ 1 70

Hình 4 15: Đạo hàm bậc 1 của vùng kiểm tra mức dịch thứ 1 71

Hình 4 16: Mức dịch chiết ở vùng kiểm tra thứ 1 71

Hình 4 17: Vùng kiểm tra mức dịch chiết thứ 1 71

Hình 4 18: Trắc đồ nội suy trung bình của vùng kiểm tra mức dịch thứ 2 72

Hình 4 19: Áp dụng toán tử Gaussian ( =5) lên vùng kiểm tra mức dịch thứ 72

Hình 4 20: Áp dụng toán tử Gaussian ( =5) lên vùng kiểm tra mức dịch thứ 1 72

Hình 4 21: Mức dịch chiết ở vùng kiểm tra thứ 1 72

Hình 4 26: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt 76

Hình 4 27: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt 77

Hình 4 28: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt 77

Hình 4 29: Hình ảnh lấy mẫu của 2 lọ yến 78

Hình 4 30: Đồ thị giá trị cường độ của vùng kiểm tra hai lọ yến 78

Hình 4 31: Đồ thị áp dụng toán tử Gaussian ( =5) cho hai lọ yến 78

Hình 4 32: Đồ thị giao điểm của đạo hàm và đường ngưỡng tìm cực trị 79

Hình 4 33: Đồ thị các điểm cực trị còn giữ lại sau khi lọc qua ngưỡng 79

DANH MỤC BẢNG

Bảng 2 1: Các toán tử phát hiện cạnh 34

CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu chung và đặt vấn đề

1.1.1 Sự phát triển của công nghệ kiểm tra chất lượng sản phẩm

Trong bối cảnh các ngành công nghiệp đang ngày càng hướng tới sự tự động hóa trong dây chuyền sản xuất sản phẩm để nâng cao hiệu quả vận hành trong kinh doanh, việc áp dụng các công nghệ xử lý ảnh đã trở nên cần thiết hơn Trong ngành sản xuất sản phẩm yến sào, chất lượng sản phẩm cần được đảm bảo khi lưu hành trong thị trường Việt Nam và quốc tế

Nhiều hệ thống dây chuyền sản xuất lọ yến (hình 1 1) hiện nay vẫn đang đối mặt với nhiều trở ngại và khó khăn Một trong những trở ngại chính là khâu kiểm tra chất lượng vẫn còn thực hiện thủ công, phương án này còn tiềm ẩn khả năng sai xót trong kiểm tra chất lượng sản phẩm, làm ảnh hưởng đến hiệu quả sản xuất, giảm uy tín của công ty trên thị trường

Hình 1 1: Sơ đồ sản xuất sản phẩm lọ yến tại nhà máy Sanest Khánh Hòa

Để giải quyết trở ngại này, luận văn này tập trung vào ứng dụng xử lý ảnh để kiểm tra chất lượng sản phẩm lọ yến gồm mức dịch chiết và bọt trên bề mặt dịch chiết Công nghệ này giúp giảm thiểu sự phụ thuộc vào người lao động, tăng năng suất sản xuất, kết quả kiểm tra chất lượng sản phẩm được nâng cao

1.1.2 Các công ty và tổ chức nghiên cứu liên quan

Dưới đây là thông tin về các công ty và tổ chức có liên quan đến lĩnh vực kiểm tra chất lượng sản phẩm công nghiệp bằng xử lý hình ảnh

Công ty Omron Microscan

Omron Microscan là một trong những nhà cung cấp hệ thống xử lý ảnh đa nhiệm hàng đầu trên thế giới Hệ thống camera kiểm tra sản phẩm Omron Microscan bao gồm thiết kế phần cứng và các giải pháp phần mềm để phù hợp với nhiều ứng dụng của người dùng như đọc mã vạch 1D, 2D và OCR, đánh giá phân loại chất lượng của mã vạch 1D, 2D và OCV, kiểm tra lỗi sản phẩm như mức chiết rót, thiếu nắp, vênh nắp trên chai, lọ, giám sát vị trí dán nhãn, mất nhãn hay nhãn bị rách, nhận dạng sản phẩm, truy tìm nguồn gốc, phát hiện khiếm khuyết của sản phẩm, hướng dẫn

Adaptive Vision Studio là một công ty sản xuất phần mềm thị giác máy Phần mềm hoạt động theo quy tắc luồng dữ liệu và kết hợp một loạt khối giải pháp để tạo thành sơ đồ phân tích hình ảnh Các ứng dụng điển hình bao gồm kiểm tra chất lượng hình ảnh công nghiệp và hỗ trợ điều hướng cho robot [2]

Phần mềm đã được triển khai trong ngành công nghiệp sản xuất bánh mì, nơi một nhà máy đã chuyển từ quy trình kiểm tra và phân loại thủ công sang hệ thống tự động hóa cao cấp, nhằm tăng cường hiệu quả trong việc sắp xếp và xử lý các sản phẩm bánh mì với đặc điểm hình dạng, kích thước, và màu sắc khác nhau Quy trình cũ của nhà máy là loại bỏ và ký gửi các gói bánh mì theo cách thủ công, một hệ thống dễ mắc lỗi và kém hiệu quả

Kết quả áp dụng cho thấy sự cải tiến đáng kể trong sản xuất, bao gồm việc giảm 75% chi phí tổng thể so với việc sử dụng các phương pháp truyền thống, tỷ lệ lỗi được giảm đi và thông lượng sản phẩm tăng lên Hệ thống gắp và đặt hiệu quả mà không làm hỏng bánh mì hoặc bao bì của sản phẩm

Hình 1 3: Hệ thống theo dõi băng tải có robot nhặt bánh mì [2]

Hệ thống phát hiện lỗi sử dụng công nghệ trí tuệ nhân tạo trong nhà máy sản xuất lọ giấy

Phương pháp kiểm tra lỗi sản phẩm bằng thủ công không chỉ tốn nhiều nguồn nhân lực mà còn chứa lượng rủi ro cao về việc bỏ xót lỗi sản phẩm, có thể dẫn đến hậu quả nghiêm trọng sau khi sản phẩm được đóng gói và giao đi Sau khi sản phẩm được đóng gói và vận chuyển, nếu số lượng hàng hóa bị lỗi vượt quá khả năng cho phép của khách hàng, nhà sản xuất có thể bị phạt tài chính hoặc khấu trừ thanh toán Trong trường hợp xấu nhất, các nhà cung cấp thậm chí có thể bị khách hàng đưa vào danh sách đen, điều này có thể gây nguy hiểm nghiêm trọng cho danh tiếng của công ty

Trong bối cảnh trên, công ty Advantech đã phát triển hệ thống trí tuệ nhân tạo phát hiện lỗi cho một nhà máy sản xuất lọ giấy So sánh với phương án cũ là cách kiểm tra bằng trực quan của con người mất khoảng 5 giây cho mỗi lọ giấy với tỷ lệ đánh giá sai là 5%, hệ thống trí tuệ nhân tạo mới được giới thiệu có khả năng thực hiện kiểm tra nhanh chóng với tốc độ xử lý video ở 33 khung hình/giây Đồng thời khi vận hành hệ thống này, tỷ lệ kiểm tra chính xác vượt quá 98% [3]

Hình 1 4: Hệ thống AI của Advantech phát hiện lỗi cho nhà máy sản xuất lọ giấy [3]

Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ bằng xử lý ảnh sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam

Hình 1 5: Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [4]

Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ sử dụng công nghệ xử lý ảnh qua camera có các đặc điểm nổi trội phù hợp với nhiều lĩnh vực sản xuất như thực phẩm, nước giải khát, hóa mỹ phẩm,…Hệ thống này được thiết kế để đáp ứng nhiều loại vật chứa trong suốt và không trong suốt, hệ thống có thể phát hiện nhiều loại vấn đề bao gồm [4]:

 Hình dạng không đạt yêu cầu  Tính toàn vẹn của hộp chứa  Lỗ hổng trên bề mặt

 Định vị mức sản phẩm

Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam

Hình 1 6: Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [5] Máy kiểm tra này áp dụng công nghệ xử lý ảnh giúp giảm khả năng phát sinh lỗi trong quá trình sản xuất

Các chức năng chính của máy bao gồm:

 Kiểm tra đáy lon và chai lọ để phát hiện dị vật, vật liệu lạ  Kiểm tra sự biến dạng của mặt bích

 Kiểm tra sự biến dạng của lon

 Kiểm soát định hướng lon trong quá trình vận chuyển  Đảm bảo tính toàn vẹn và vệ sinh của bao bì

 Giảm số lần dừng máy và chiết rót  Tăng hiệu quả sản xuất

Máy kiểm tra lon và chai lọ rỗng này có thiết kế nhỏ gọn và đa năng, cho phép việc thay đổi kích thước dễ dàng, phù hợp để lắp đặt trong các dây chuyển đóng chai

khác nhau, giao diện người dùng của máy được thiết kế đơn giản và đầy đủ, giúp người vận hành dễ dàng thao tác và theo dõi quá trình kiểm tra [5]

Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam

Hình 1 7: Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [6]

Hệ thống sử dụng camera công nghiệp cao cấp để kiểm tra nắp, mức chiết rót và nhãn Hệ thống được thiết kế để ứng dụng trong ngành công nghiệp, thực phẩm, đồ uống, máy móc công nghiệp,…

Hệ thống kiểm tự động bao gồm các thành phần chính sau [6]:  Camera công nghiệp độ phân giải cao

 Đèn LED công nghiệp

 Máy tính công nghiệp hiệu suất cao  Màn hình cảm ứng công nghiệp 15”  Đèn báo và còi báo động

 Khả năng điều chỉnh độ cao bằng động cơ

 Hệ thống kiểm tra bằng hình ảnh Điểm nổi bật của hệ thống bao gồm:

 Kiểm tra các hộp nhựa và thủy tinh trong suốt có màu sắc và nắp khác nhau  Kiểm tra đóng nắp nhựa và kim loại

 Kiểm tra chất lỏng trong suốt, mờ đục và bọt

 Tích hợp linh hoạt vào dây chuyền sản xuất hiện có  Không yêu cầu khoảng cách giữa các hộp

 Không yêu cầu hệ thống làm mát

 Bao gồm đầu capper và quản lý van lọc, cùng với phân tích thống kê  Có khả năng loại bỏ tự động các hộp không đạt chuẩn

 Hiệu suất hoạt động đạt 80.000 hộp/giờ

Công ty nước giải khát coca-cola

Hình 1 8: Dây chuyền nhà máy sản xuất nước coca-cola [7]

Trong một nhà máy bình thường, tốc độ dây chuyền sẽ lên tới 1.200 chai mỗi phút

Một trong những đối tác công nghệ chính của Coca-Cola trong việc đảm bảo chất lượng sản phẩm là Industrial Dynamics Công ty này cung cấp các giải pháp kiểm tra sản phẩm như:

 Máy kiểm tra chai rỗng Omnivision II  Hệ thống mã hóa laser Lasetec II  Máy kiểm tra mức chiết rót FT-50

Máy kiểm tra chai rỗng Omnivision II là hệ thống duy nhất cung cấp chế độ xem 360 độ đầy đủ bên trong chai trước khi đổ đầy Máy di chuyển chai dọc theo băng tải trong khi hệ thống camera công nghệ cao chụp ảnh bên trong mỗi chai, kiểm tra hư hỏng và các vật lạ như bụi bẩn và mảnh thủy tinh có thể ở bên trong chai Nếu hệ thống camera phát hiện có hạt trong chai thì ngay lập tức nó sẽ bị loại khỏi dây chuyền Hệ thống này cũng cung cấp khả năng kiểm tra 360 độ đầy đủ bên ngoài chai Tiếp theo, các chai được chuyển sang hệ thống mã hóa laser lasetec II, nơi chai được niêm phong bằng tem phê duyệt Quy trình này giúp xác minh ngày kiểm tra chai và thời gian sản xuất

Cuối cùng, các chai được chuyển đến máy kiểm tra mức chiết rót FT-50, nơi đảm bảo mỗi chai xem có được đổ đầy hay thiếu và nắp đóng chắc chắn Bất kỳ chai nào không đạt yêu cầu sẽ bị loại bỏ để đảm bảo chỉ những sản phẩm đạt tiêu chuẩn được lưu hành trên thị trường [7]

Công ty cổ phần nước giải khát Sanest Khánh Hòa

Công ty cổ phần nước giải khát Sanest Khánh Hòa đầu tư xây dựng xưởng sản xuất trên diện tích gần 5.000 mét vuông với dây chuyền sản xuất hiện đại, tự động hóa cao Với công suất thiết kế 15.000 sản phẩm/giờ, dây chuyền được đầu tư hoàn chỉnh từ khâu kiểm tra bao bì, nguyên vật liệu đầu vào đến khâu phối chế, chiết rót, đóng nắp, tiệt trùng, dán nhãn, đóng gói sản phẩm và in đát Máy móc thiết bị hiện đại, tự động với những tính năng công nghệ mới nhất có xuất xứ từ các nước Hoa Kỳ, Anh, Italia,… [8]

Tuy nhiên, một trong những điểm hạn chế hiện tại của công ty là các phương

pháp kiểm tra chất lượng sản phẩm chủ yếu được thực hiện bởi đội ngũ của nhà máy, điều này có thể ảnh hưởng đến hiệu quả của quá trình kiểm tra so với việc áp dụng các giải pháp kiểm tra tự động hóa

Hình 1 9: Hệ thống máy chiết rót của công ty nước giải khát Sanest Khánh

Hòa [8]

Hình 1 10: Hệ thống máy đóng block màng co của công ty nước giải khát

Sanest Khánh Hòa [8]

1.2 Phạm vi của đề tài

Phạm vi của đề tài sẽ bao gồm:

 Loại sản phẩm: Lọ yến kích thước đường kính 6cm x chiều cao 7cm, màu sắc dịch yến trong lọ có các màu là xám trong, vàng đục

 Các lỗi sản phẩm: Các lỗi sản phẩm thường gặp trong dây chuyền sản xuất lọ yến bao gồm:

- Lỗi mức dịch yến không đạt chuẩn - Lỗi dịch yến có chứa bọt

- Nguyên nhân: Nguyên liệu thô, quy trình sản xuất, đóng gói, vận chuyển và bảo quản có tác động lớn đến độ ổn định của bọt, khi các yếu tố này gặp lỗi, sẽ dẫn đến sản phẩm không đạt tiêu chuẩn

 Phương pháp xử lý ảnh: Phương pháp xử lý ảnh được sử dụng trong đề tài này là phương pháp phát hiện cạnh và phương pháp thống kê giá trị pixel Phương pháp đầu tiên sẽ sử dụng thuật toán nhận dạng cạnh gradient để phát hiện lọ

yến và kiểm tra mức dịch yến trong lọ Phương pháp thứ hai dùng thuật toán thống kê giá trị trung bình, giá trị độ lệch chuẩn của một vùng ảnh để kiểm tra có bọt trên bề mặt dịch yến

1.3 Phương pháp thực hiện

Chụp hình ảnh lọ yến thực tế và sử dụng thư viện mã nguồn mở về xử lý ảnh trong ngôn ngữ lập trình Python để thử nghiệm các thuật toán Các bước thực hiện như sau:

Bước 1: Chuẩn bị các hình ảnh lọ yến bị lỗi/không bị lỗi để làm mẫu kiểm tra Bước 2: Sử dụng một đường quét ngang để định vị nắp lọ yến trong ảnh Tìm các

cạnh chuyển giao giữa nắp lọ yến trên đường quét và nền để định vị lọ yến

Bước 3: Phân tích đường quét Trên đường quét, dùng toán tử Gaussian để làm giảm

nhiễu, và dùng các toán tử khác để tăng độ chính xác khi phát hiện cạnh

Bước 4: Tính đạo hàm bậc nhất của đường quét, chọn ngưỡng cho đạo hàm để tìm

các cực trị Chọn ngưỡng kép cho khoảng cách giữa những cặp cực trị tìm được để giữ lại các cực trị có ý nghĩa là các cạnh Với mỗi cặp cực trị được giữ lại, chọn trung điểm để làm mốc cho đường quét dọc ở bước 5

Bước 5: Sau khi đã định vị được lọ yến, sử dụng đường quét dọc đi qua trung điểm

ở bước 4, đường quét đi qua mức dịch yến và áp dụng lại các bước 3 và 4 một lần nữa để định vị mức dịch chiết trong lọ yến

Bước 6: Để phát hiện có bọt trong dịch chiết, sử dụng thuật toán thống kê ảnh gồm

hai thông số giá trị pixel trung bình và giá trị độ lệch chuẩn trung bình trong vùng kiểm tra (ROI) được xác định dựa theo điểm mức dịch yến được định vị ở bước 5

1.4 Các công trình nghiên cứu liên quan

Các nghiên cứu liên quan dưới đây đã ứng dụng xử lý ảnh để giải quyết vấn đề kiểm tra mức chất lỏng trong sản phẩm chai và kiểm tra chiều cao bọt bia trong ly theo thời gian Trong nghiên cứu kiểm tra mức chất lỏng, để phát hiện ra mức dịch trong chai, những thuật toán phát hiện cạnh đã được sử dụng Trong nghiên cứu phát

hiện bọt, có sử dụng phương pháp phân tích vùng ROI bao quanh bọt và bia, sau đó dùng phân ngưỡng HSV để phát hiện bọt bia

1.4.1 Các nghiên cứu về phát hiện bề mặt dịch chiết- không khí

Nghiên cứu 1: Nghiên cứu [9] đề xuất một hệ thống gồm máy tính xử lý ảnh có trang

bị camera được sử dụng để kiểm tra mức chất lỏng trong một chai

Trong nghiên cứu, một chai thủy tinh màu hổ phách được đổ đầy nước để chụp ba bức ảnh tương ứng với các trường hợp: chai đổ đầy quá mức chuẩn, đổ đúng mức chuẩn và đổ không đủ mức chuẩn Những bức ảnh này được chụp bằng camera CMOS có độ phân giải 4128x3096 của một điện thoại thông minh Các ảnh được căn chỉnh vào phần dưới của nắp chai bằng nhôm và được cắt thành các ảnh kích thước 4x4 inch Sự khác biệt về mức độ đổ đầy của chất lỏng trong các trường hợp - quá mức, đúng mức và không đủ mức - là đủ rõ ràng khi quan sát hình ảnh, do đó ảnh đủ tiêu chuẩn để hệ thống xử lý ảnh có thể phân biệt được.

Các bức ảnh được xử lý sử dụng thuật toán Pithadiya [10], kết hợp với các kỹ thuật tiền xử lý ảnh bổ sung [11][12], để xác định mức độ đổ đầy của nước trong chai dựa trên khoảng cách từ cạnh ngang ở trên của vùng kiểm tra (ROI) xuống mức chất lỏng Thuật toán gồm các bước sau:

Bước 1: Chụp ảnh chai đổ đầy nước ở ba mức khác nhau - quá mức chuẩn, đúng mức

chuẩn và không đủ mức chuẩn như hình bên dưới

Hình 1 13: Hình ảnh áp dụng thuật toán phát hiện cạnh lên chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Bước 3: Xác định vùng kiểm tra (ROI), vùng kiểm tra được đánh dấu trên mỗi bức

ảnh, vùng này đi qua phần mức chất lỏng trong chai

Hình 1 14: Hình ảnh tạo vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Bước 4: Xác định giá trị khoảng cách tối đa và tối thiểu cho phép của mức chất lỏng

để làm giá trị ngưỡng kiểm tra cho mực chất lỏng trong chai ở bước 7 Đây là hai ngưỡng kẹp giữa bề mặt chất lỏng khi chất lỏng được đổ đúng mức chuẩn Từ hai điểm ngưỡng này, tính khoảng cách ở hai điểm ngưỡng đến ranh giới trên cùng của vùng kiểm tra để tạo ra hai khoảng cách tối thiểu và khoảng cách tối đa

Bước 5: Tìm các điểm tọa độ tạo nên cạnh trong vùng kiểm tra, có giá trị pixel là 1,

những điểm này đại diện cho bề mặt chất lỏng trong chai

Bước 6: Tìm khoảng cách dọc giữa mỗi điểm tìm được và cạnh trên của vùng kiểm

tra Khoảng cách này được tìm cho mỗi điểm, như được minh họa trong các hình bên dưới

Hình 1 15: Hình ảnh các đường khoảng cách từ mực nước lên cạnh trên của vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Bước 7: Lấy giá trị trung bình của tất cả các đường khoảng cách So sánh giá trị trung

bình này với khoảng cách tối đa và tối thiểu cho phép ở bước 4

 Nếu giá trị trung bình lớn hơn khoảng cách tối đa cho phép, chai được phân loại là không đổ đầy

 Nếu giá trị trung bình nhỏ hơn khoảng cách tối thiểu cho phép, chai được xem là đổ vượt mức

Nghiên cứu 2: Trong nghiên cứu [13] đã đề xuất thuật toán kiểm tra mức chất lỏng

trong chai gồm các bước sau:

Bước 1: Hình ảnh của một chai đầy được chụp bằng máy ảnh CCD Hình ảnh được

cắt xén chỉ xử lý một phần ở phía trên chai để kiểm tra mức nước, như được thể hiện trong hình 1 16

Hình 1 16: Hình ảnh gốc của chai nước

Bước 2: Các kỹ thuật phát hiện cạnh khác nhau như phát hiện cạnh dựa trên mẫu

khác nhau, Canny, Laplacian of Gaussian và kỹ thuật phát hiện cạnh ISEF được áp dụng Các bước cần thiết cho mỗi thuật toán phát hiện cạnh ở trên được trình bày chi tiết trong tài liệu [13]

Bước 3: Sau khi áp dụng kỹ thuật phát hiện cạnh, một thuật toán được đề xuất để xác

định mức độ đầy và không đầy của chai dựa trên khoảng cách của mức nước so với trung tâm của vùng kiểm tra (ROI)

Thuật toán được đề xuất: Xác định một vùng kiểm tra (ROI), chọn vùng nơi mức chất

lỏng dự kiến sẽ ở Việc xác định ROI giúp thu hẹp phạm vi phân tích của quá trình đánh giá mức đầy của chai Sử dụng các bước tiếp theo để đo khoảng cách từ điểm tham chiếu trên cùng của chai (được xác định bởi hộp 1) đến mức chất lỏng thực tế bên trong chai (được xác định bởi hộp 2) (hộp 1 và hộp 2 được thể hiện trên hình 1 18) Đo các khoảng cách này và tính trung bình davg để xác định xem mức chất lỏng vượt quá mức chuẩn (đầy) hay thấp hơn mức chuẩn (không đầy)

Bước 4: Xác định vùng kiểm tra, chọn một phần ngang của hình ảnh cần phân tích

Đây sẽ là vùng sẽ xác định xem chai có được đầy đúng mức hay không Trong hình

1 17, vùng này được đánh dấu bằng một khung màu vàng ngang, bao quanh phần trung tâm của chai

Hình 1 17: Hình ảnh sau khi áp dụng phát hiện cạnh và xác định vùng kiểm tra(ROI)

Bước 5: Đường cuối của nắp chai được lấy làm mốc tham chiếu (hình 1 18) để đo

mức chất lỏng trong chai Trong hình bên dưới, đường cuối của nắp chai (được chú thích là reference line) được dùng làm mốc tham chiếu cho việc đo khoảng cách với mực nước

Hình 1 18: Hình ảnh với Box 1, Box 2, và đường tham chiếu

Bước 6: Tìm mỗi pixel có giá trị 1 trong hộp 1 (hình 1 18), sau đó tìm kiếm theo một

đường thẳng dọc từ pixel này xuống dưới Xác định pixel đầu tiên có giá trị 1 mà đường thẳng dọc này gặp phải trong hộp 2 dọc

Bước 7: Khi pixel tương ứng ở hộp 2 đã được tìm thấy, thuật toán sẽ tính khoảng

cách dọc từ pixel này đến pixel tương ứng ở hộp 1

Bước 8: Quá trình này được lặp lại cho tất cả các pixel có giá trị 1 trong hộp 1 để tạo

ra một tập hợp các khoảng cách dọc Kết quả được thể hiện như trong hình 1 19 với các đường kẻ dọc

Hình 1 19: Hình ảnh với các đường khoảng cách

Bước 9: Lấy trung bình của tất cả các đường khoảng cách davg để có được một giá trị đại diện cho mức độ chất lỏng trung bình của chai So sánh giá trị của davg với một khoảng cách chuẩn đã được xác định trước (đường màu đỏ trên hình 1 20):

 Nếu davg > khoảng cách chuẩn, mực nước trong chai quá mức chuẩn  Nếu davg < khoảng cách chuẩn, mực nước trong chai dưới mức chuẩn

Hình 1 20: Hình ảnh với đường chuẩn để kiểm tra mức nước

1.4.2 Nghiên cứu về phát hiện bọt

Nghiên cứu [14] cung cấp mô tả một quy trình phân tích hình ảnh chi tiết để đo lường chiều cao của bọt bia từ một video được ghi lại bằng camera màu RGB Quy trình gồm các bước sau:

Bước 1: Trong một khung hình cụ thể của video đã ghi, xác định một vùng kiểm tra

(ROI) với chiều rộng (w) và chiều cao (l) trong hình ảnh, vùng kiểm tra này phải bao gồm toàn bộ chiều cao của bọt và một phần của bia như hình 2a Tất cả các bước xử lý hình ảnh tiếp theo sẽ được thực hiện trên vùng kiểm tra này Các bước này đều tập trung vào việc phân đoạn vùng bọt ra khỏi phần còn lại của hình ảnh trong ROI

Hình 1 21: Xử lý ảnh trong vùng kiểm tra để ước lượng bọt trong ly bia (a) Vùng kiểm tra (ROI) có chiều rộng (w) và chiều cao (l) được xác định cho hình ảnh ROI được đánh dấu bằng màu xanh; (b) Áp dụng ngưỡng vào ROI trong không gian màu HSV, các pixel đạt ngưỡng được đánh dấu bằng màu đỏ; (c) Hình ảnh nhị phân của ROI sau khi áp dụng ngưỡng trong không gian màu HSV (hình ảnh phóng to là hình 1.22 (a)); (d) Thực hiện các phép toán hình thái học gồm xói mòn và giãn nở để loại bỏ các điểm nhiễu không liên quan đến bọt khỏi ảnh (hình ảnh phóng to là hình 1.22 (b)); (e) Đường viền lớn nhất bọc phần bọt bia được đánh dấu bằng màu đỏ Chiều cao ước lượng của bọt bia được tính bằng số pixel được xác định sử dụng phương trình (1.1)

(a) (b) Hình 1 22: Hình ảnh phóng to của hình 1.21 (c), (d)

(a) Hình ảnh nhị phân ban đầu của ROI sau khi áp dụng ngưỡng trong không gian màu HSV với các điểm nhiễu không liên quan đến bọt; (b) Hình ảnh nhị phân cuối cùng của ROI sau khi áp dụng ngưỡng trong không gian màu HSV, các nhiễu không liên quan đến bọt đã được loại bỏ sau khi thực hiện các phép toán hình thái học

Bước 2: Thực hiện phân đoạn màu sắc bằng cách lọc (ngưỡng) ROI trong không gian

màu HSV bằng cách định nghĩa giá trị thấp và cao cho màu của bọt (hình 1 22 (a))

Bước 3: Tạo ra một hình ảnh nhị phân của ROI đã được ngưỡng trong không gian

màu HSV (hình 1 21 (c) và hình 1 22 (a)), bằng cách gán tất cả các pixel có giá trị nằm trong giới hạn được đánh dấu là pixel trắng (giá trị được đặt thành 255), trong khi các pixel còn lại được đánh dấu là đen (giá trị được đặt thành 0)

Bước 4: Thực hiện các phép toán hình thái học gồm có xói mòn, sau đó là giãn nở

trên hình ảnh nhị phân (hình 1 21 (d) và hình 1 22 (b)) Các phép toán này dùng để loại bỏ nhiễu nhỏ hoặc các điểm, đốm không liên quan xuất hiện trong hình ảnh nhị phân

Bước 5: Xác định đường viền lớn nhất từ danh sách tất cả các đường viền trên hình

ảnh nhị phân (hình 1 21 (e)) Một đường viền là một đường cong nối tất cả các điểm liên tục (các điểm nằm cạnh nhau) hoặc các thành phần liên kết (khu vực trong ảnh mà các điểm có cùng màu sắc, cường độ) dọc theo ranh giới của đối tượng Bước này cơ bản là phân đoạn hoặc đánh dấu ranh giới của bọt

Bước 6: Xác định diện tích (A) của vùng được bao quanh bởi đường viền lớn nhất

Bước 7: Tính chiều cao trung bình của bọt bia theo pixel sử dụng phương trình sau:

chiều cao trung bình (h) được tính bằng cách chia diện tích của bọt bia (A) cho chiều rộng của ROI (w)

1.5 Nhìn nhận vấn đề và mục tiêu đề tài 1.5.1 Vấn đề cần giải quyết

Trong quá trình sản xuất lọ yến, vì công đoạn sản xuất là những quy trình phức tạp, có thể gây ra nhiễu lỗi sản phẩm bắt nguồn từ:

 Lỗi do nguyên liệu: Nguyên liệu đầu vào không đạt chất lượng, dẫn đến tạo ra nhiều bọt

 Lỗi do quá trình sản xuất: Quá trình sản xuất xảy ra sai sót như máy chiết rót sau một thời gian sử dụng độ chính xác trong chiết rót bị giảm khiết mức dịch chiết không đạt chuẩn, chưa đóng nắp lọ, chưa in nhãn, thương hiệu, hạn sử dụng

 Lỗi do con người: Người lao động không cẩn thận kiểm tra xót sản phẩm Để kiểm tra lỗi sản phẩm trong dây chuyền sản xuất lọ yến, hiện nay các doanh nghiệp thường sử dụng phương pháp kiểm tra thủ công Phương pháp này có một số hạn chế như:

 Độ chính xác không cao: Kiểm tra thủ công phụ thuộc vào kỹ năng và kinh nghiệm của người lao động, dễ dẫn đến sai sót

 Tốn nguồn lực công nhân: Kiểm tra thủ công cần có nhiều nhân công, thời gian kiểm tra lâu, ảnh hưởng đến năng suất sản xuất

Luận văn tập trung vào phát triển công nghệ xử lý ảnh để tự động hóa quy trình kiểm tra thành phẩm lọ yến, giải quyết vấn đề rủi ro bỏ xót sản phẩm lỗi do người lao động và tăng năng suất sản xuất Công nghệ xử lý ảnh này bao gồm:

 Kiểm tra mức dịch chiết trong lọ yến  Kiểm tra có bọt trên bề mặt dịch chiết

Các nghiên cứu liên quan [12][13][14] đã giải quyết hai vấn đề trên Trong nghiên cứu kiểm tra mức dịch chiết, có sử dụng thuật toán phát hiện cạnh để kiểm tra mức dịch chiết trong chai Trong nghiên cứu phát hiện bọt, có sử dụng phương pháp phân tích vùng ROI để phát hiện bọt bia

Dựa theo các nghiên cứu liên quan, luận văn đề xuất một thuật toán xử lý ảnh dựa theo phát hiện cạnh kết hợp các thêm các kỹ thuật xử lý ảnh bổ sung dùng để phát hiện mức dịch chiết và thống kê giá trị pixel trong vùng ROI đi qua bề mặt dịch chiết để kiểm tra sự hiện diện bọt trên bề mặt dịch chiết

1.5.2 Mục tiêu chính của đề tài

Nghiên cứu phương án kiểm tra mức dịch chiết trong lọ yến Mục tiêu đạt được độ tin cậy 100% trong xác định mức dịch chiết

Nghiên cứu phương án phát hiện bọt trên bề mặt dịch chiết Mục tiêu đạt được là không bỏ xót lọ yến có chứa bọt

Mục tiêu xác định tính khả thi của phương án khi xử lý thực tế trên băng tải Thực hiện bằng cách kiểm tra trên hình ảnh tĩnh của sản phẩm thực tế và đánh giá kết quả trên ảnh tĩnh

Lựa chọn các phương pháp xử lý ảnh truyền thống nhưng vẫn đảm bảo tính hiệu quả (phát hiện được mức dịch và bọt, thời gian xử lý ảnh thấp) thay vì phương pháp tốn nhiều thời gian xử lý, phần cứng đắt tiền như trí tuệ nhân tạo

Kiểm tra trên hình ảnh tĩnh của sản phẩm thực tế để xác định tính khả thi của phương án

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ MÔ HÌNH HÓA CÁC NGHIÊN CỨU LIÊN QUAN

2.1 Giới thiệu phát hiện cạnh trong xử lý ảnh

Phát hiện cạnh trong xử lý ảnh là phương pháp xác định ranh giới giữa hai vùng có cường độ sáng khác biệt, các ranh giới này được tạo ra bởi các đối tượng nằm trên các vùng có sự thay đổi giữa màu sắc, cường độ sáng, hoặc kết cấu khác nhau trong hình ảnh Trong nhiều ứng dụng như phân đoạn hình ảnh, đối sánh hình ảnh, nhận dạng khuôn mặt, phát hiện chướng ngại vật, nhận dạng mục tiêu, và nén hình ảnh, phát hiện cạnh thường là bước khởi đầu trong các thuật toán thực hiện các ứng dụng trên [15]

Khi chọn phương pháp phát hiện cạnh, cần xem xét các yếu tố gồm hướng của cạnh (dọc, ngang, chéo), nhiễu từ môi trường trong ảnh, cấu trúc của cạnh, sau đó chọn các toán tử phát hiện cạnh phù hợp Các toán tử phát hiện cạnh phổ biến là Sobel, Prewitt, Canny, Các toán tử này sử dụng công thức toán học khác nhau để tối ưu hóa khả năng nhận diện cạnh theo từng hướng cụ thể Trong các môi trường có nhiễu, các nhiễu có thể tạo ra các thay đổi đột ngột, các thay đổi này tạo thành các cạnh giả, do đó khi phát hiện cạnh sẽ gặp vấn đề là ảnh có nhiễu sẽ làm giảm khả năng phân biệt giữa cạnh thực sự và nhiễu Do đó cần phải lọc đi nhiễu, khi học nhiễu phải chọn phương pháp phù hợp để không làm mất đi thông tin về các cạnh thực sự [16]

Trong trường hợp cả nhiễu và cạnh đều chứa thông tin thể hiện sự thay đổi nhanh giữa các pixel, cần phải áp dụng các phương pháp tách biệt cạnh từ nhiễu mà không làm mất thông tin quan trọng (nhiễu này có thể tạo ra từ các biến đổi cường độ ảnh ngẫu nhiên, các biến đổi này không phản ánh đặc điểm nào của ảnh chụp) Một vấn đề khác là khi lọc nhiễu thì cần sử dụng toán tử làm mịn ảnh, quá trình này có thể làm cạnh thực sự bị mất đi độ sắc nét, các cạnh trở nên mờ [17]

2.2 Tác động của nhiễu

Nhiễu trong ảnh tạo ra sự khác biệt lớn về độ sáng giữa các pixel và các toán tử đạo hàm gradient (chương 2 2) rất nhạy cảm với nhiễu Hình 2 1 là đồ thị giá trị cường độ sáng rút ra từ một đường thẳng có độ dài 200 pixel đi qua ranh giới giữa hai vùng có giá trị cường độ sáng khác biệt, ranh giới (cạnh) của hai vùng này nằm ở vị trí 50 pixel của đường thẳng

Hình 2 1: Đồ thị giá trị cường độ sáng (có những điểm nhiễu đáng kể)

Hình 2 2 là đạo hàm bậc nhất (chương 2 2) của đồ thị hình 2 1, có các điểm khác tạo ra các giá trị cực trị lớn, gần bằng cực trị tại điểm cạnh thật (cạnh thật ở vị trí 50

pixel) gây ra các điểm cạnh giả Điều này sẽ được giải thích kỹ hơn trong thuật toán đề xuất ở chương 3

Hình 2 2: Đồ thị đạo hàm bậc nhất trước khi áp dụng toán tử Gaussian (có những điểm nhiễu đáng kể)

Phương pháp loại bỏ nhiễu trong hình ảnh:

Toán tử Gaussian được sử dụng để giảm nhiễu trong ảnh và các chi tiết của ảnh Các bước liên quan đến việc triển khai toán tử Gaussian trên hình ảnh [18]:

Bước 1: Xác định hàm tích chập được áp dụng lặp lại trên hình ảnh dựa trên kích

thước hạt nhân (toán tử Gaussian)

Trong hình 2 3, hình ảnh bên trái biểu thị hình ảnh gốc với hộp màu đỏ làm kernel tính toán giá trị từ tất cả chín pixel và chèn vào pixel trung tâm

Hình 2 3: Kernel của toán tử Gaussian được lặp trên ảnh [18]