ứng dụng công nghệ xử lý ảnh để kiểm tra mức dịch chiết và bọt trên bề mặt dịch chiết trong lọ yến sau khi thành phẩm

TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN VIẾT HOÀNG ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH ĐỂ KIỂM TRA MỨC DỊCH CHIẾT VÀ BỌT TRÊN BỀ MẶT DỊCH CHIẾT TRONG LỌ YẾN SAU KHI THÀNH PHẨM APPLICATION OF IMAGE PROC

TỔNG QUAN

Giới thiệu chung và đặt vấn đề

1.1.1 Sự phát triển của công nghệ kiểm tra chất lượng sản phẩm

Trong bối cảnh các ngành công nghiệp đang ngày càng hướng tới sự tự động hóa trong dây chuyền sản xuất sản phẩm để nâng cao hiệu quả vận hành trong kinh doanh, việc áp dụng các công nghệ xử lý ảnh đã trở nên cần thiết hơn Trong ngành sản xuất sản phẩm yến sào, chất lượng sản phẩm cần được đảm bảo khi lưu hành trong thị trường Việt Nam và quốc tế

Nhiều hệ thống dây chuyền sản xuất lọ yến (hình 1 1) hiện nay vẫn đang đối mặt với nhiều trở ngại và khó khăn Một trong những trở ngại chính là khâu kiểm tra chất lượng vẫn còn thực hiện thủ công, phương án này còn tiềm ẩn khả năng sai xót trong kiểm tra chất lượng sản phẩm, làm ảnh hưởng đến hiệu quả sản xuất, giảm uy tín của công ty trên thị trường

Hình 1 1: Sơ đồ sản xuất sản phẩm lọ yến tại nhà máy Sanest Khánh Hòa Để giải quyết trở ngại này, luận văn này tập trung vào ứng dụng xử lý ảnh để kiểm tra chất lượng sản phẩm lọ yến gồm mức dịch chiết và bọt trên bề mặt dịch chiết Công nghệ này giúp giảm thiểu sự phụ thuộc vào người lao động, tăng năng suất sản xuất, kết quả kiểm tra chất lượng sản phẩm được nâng cao

1.1.2 Các công ty và tổ chức nghiên cứu liên quan

Dưới đây là thông tin về các công ty và tổ chức có liên quan đến lĩnh vực kiểm tra chất lượng sản phẩm công nghiệp bằng xử lý hình ảnh

Omron Microscan là một trong những nhà cung cấp hệ thống xử lý ảnh đa nhiệm hàng đầu trên thế giới Hệ thống camera kiểm tra sản phẩm Omron Microscan bao gồm thiết kế phần cứng và các giải pháp phần mềm để phù hợp với nhiều ứng dụng của người dùng như đọc mã vạch 1D, 2D và OCR, đánh giá phân loại chất lượng của mã vạch 1D, 2D và OCV, kiểm tra lỗi sản phẩm như mức chiết rót, thiếu nắp, vênh nắp trên chai, lọ, giám sát vị trí dán nhãn, mất nhãn hay nhãn bị rách, nhận dạng sản phẩm, truy tìm nguồn gốc, phát hiện khiếm khuyết của sản phẩm, hướng dẫn robot,…[1]

Hình 1 2: Hệ thống phát hiện sản phẩm lỗi nắp chai, kiểm tra mã QR, kiểm tra lỗi sản phẩm [1]

Công ty phần mềm xử lý ảnh Adaptive Vision Studio

Adaptive Vision Studio là một công ty sản xuất phần mềm thị giác máy Phần mềm hoạt động theo quy tắc luồng dữ liệu và kết hợp một loạt khối giải pháp để tạo thành sơ đồ phân tích hình ảnh Các ứng dụng điển hình bao gồm kiểm tra chất lượng hình ảnh công nghiệp và hỗ trợ điều hướng cho robot [2]

Phần mềm đã được triển khai trong ngành công nghiệp sản xuất bánh mì, nơi một nhà máy đã chuyển từ quy trình kiểm tra và phân loại thủ công sang hệ thống tự động hóa cao cấp, nhằm tăng cường hiệu quả trong việc sắp xếp và xử lý các sản phẩm bánh mì với đặc điểm hình dạng, kích thước, và màu sắc khác nhau Quy trình cũ của nhà máy là loại bỏ và ký gửi các gói bánh mì theo cách thủ công, một hệ thống dễ mắc lỗi và kém hiệu quả

Kết quả áp dụng cho thấy sự cải tiến đáng kể trong sản xuất, bao gồm việc giảm 75% chi phí tổng thể so với việc sử dụng các phương pháp truyền thống, tỷ lệ lỗi được giảm đi và thông lượng sản phẩm tăng lên Hệ thống gắp và đặt hiệu quả mà không làm hỏng bánh mì hoặc bao bì của sản phẩm

Hình 1 3: Hệ thống theo dõi băng tải có robot nhặt bánh mì [2]

Hệ thống phát hiện lỗi sử dụng công nghệ trí tuệ nhân tạo trong nhà máy sản xuất lọ giấy

Phương pháp kiểm tra lỗi sản phẩm bằng thủ công không chỉ tốn nhiều nguồn nhân lực mà còn chứa lượng rủi ro cao về việc bỏ xót lỗi sản phẩm, có thể dẫn đến hậu quả nghiêm trọng sau khi sản phẩm được đóng gói và giao đi Sau khi sản phẩm được đóng gói và vận chuyển, nếu số lượng hàng hóa bị lỗi vượt quá khả năng cho phép của khách hàng, nhà sản xuất có thể bị phạt tài chính hoặc khấu trừ thanh toán Trong trường hợp xấu nhất, các nhà cung cấp thậm chí có thể bị khách hàng đưa vào danh sách đen, điều này có thể gây nguy hiểm nghiêm trọng cho danh tiếng của công ty

Trong bối cảnh trên, công ty Advantech đã phát triển hệ thống trí tuệ nhân tạo phát hiện lỗi cho một nhà máy sản xuất lọ giấy So sánh với phương án cũ là cách kiểm tra bằng trực quan của con người mất khoảng 5 giây cho mỗi lọ giấy với tỷ lệ đánh giá sai là 5%, hệ thống trí tuệ nhân tạo mới được giới thiệu có khả năng thực hiện kiểm tra nhanh chóng với tốc độ xử lý video ở 33 khung hình/giây Đồng thời khi vận hành hệ thống này, tỷ lệ kiểm tra chính xác vượt quá 98% [3]

Hình 1 4: Hệ thống AI của Advantech phát hiện lỗi cho nhà máy sản xuất lọ giấy

Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ bằng xử lý ảnh sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam

Hình 1 5: Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [4]

Máy kiểm tra hình dạng bên ngoài chai lọ, bình, lon, hộp hũ sử dụng công nghệ xử lý ảnh qua camera có các đặc điểm nổi trội phù hợp với nhiều lĩnh vực sản xuất như thực phẩm, nước giải khát, hóa mỹ phẩm,…Hệ thống này được thiết kế để đáp ứng nhiều loại vật chứa trong suốt và không trong suốt, hệ thống có thể phát hiện nhiều loại vấn đề bao gồm [4]:

 Hình dạng không đạt yêu cầu

 Tính toàn vẹn của hộp chứa

 Lỗ hổng trên bề mặt

 Định vị mức sản phẩm

Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam

Hình 1 6: Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [5]

Máy kiểm tra này áp dụng công nghệ xử lý ảnh giúp giảm khả năng phát sinh lỗi trong quá trình sản xuất

Các chức năng chính của máy bao gồm:

 Kiểm tra đáy lon và chai lọ để phát hiện dị vật, vật liệu lạ

 Kiểm tra sự biến dạng của mặt bích

 Kiểm tra sự biến dạng của lon

 Kiểm soát định hướng lon trong quá trình vận chuyển

 Đảm bảo tính toàn vẹn và vệ sinh của bao bì

 Giảm số lần dừng máy và chiết rót

 Tăng hiệu quả sản xuất

Máy kiểm tra lon và chai lọ rỗng này có thiết kế nhỏ gọn và đa năng, cho phép việc thay đổi kích thước dễ dàng, phù hợp để lắp đặt trong các dây chuyển đóng chai khác nhau, giao diện người dùng của máy được thiết kế đơn giản và đầy đủ, giúp người vận hành dễ dàng thao tác và theo dõi quá trình kiểm tra [5]

Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam

Hình 1 7: Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của

Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [6]

Hệ thống sử dụng camera công nghiệp cao cấp để kiểm tra nắp, mức chiết rót và nhãn Hệ thống được thiết kế để ứng dụng trong ngành công nghiệp, thực phẩm, đồ uống, máy móc công nghiệp,…

Hệ thống kiểm tự động bao gồm các thành phần chính sau [6]:

 Camera công nghiệp độ phân giải cao

 Máy tính công nghiệp hiệu suất cao

 Màn hình cảm ứng công nghiệp 15”

 Đèn báo và còi báo động

 Khả năng điều chỉnh độ cao bằng động cơ

 Hệ thống kiểm tra bằng hình ảnh Điểm nổi bật của hệ thống bao gồm:

 Kiểm tra các hộp nhựa và thủy tinh trong suốt có màu sắc và nắp khác nhau

 Kiểm tra đóng nắp nhựa và kim loại

 Kiểm tra chất lỏng trong suốt, mờ đục và bọt

 Tích hợp linh hoạt vào dây chuyền sản xuất hiện có

 Không yêu cầu khoảng cách giữa các hộp

 Không yêu cầu hệ thống làm mát

 Bao gồm đầu capper và quản lý van lọc, cùng với phân tích thống kê

 Có khả năng loại bỏ tự động các hộp không đạt chuẩn

 Hiệu suất hoạt động đạt 80.000 hộp/giờ

Công ty nước giải khát coca-cola

Hình 1 8: Dây chuyền nhà máy sản xuất nước coca-cola [7]

Trong một nhà máy bình thường, tốc độ dây chuyền sẽ lên tới 1.200 chai mỗi phút

Phạm vi của đề tài

Phạm vi của đề tài sẽ bao gồm:

 Loại sản phẩm: Lọ yến kích thước đường kính 6cm x chiều cao 7cm, màu sắc dịch yến trong lọ có các màu là xám trong, vàng đục

 Các lỗi sản phẩm: Các lỗi sản phẩm thường gặp trong dây chuyền sản xuất lọ yến bao gồm:

- Lỗi mức dịch yến không đạt chuẩn

- Lỗi dịch yến có chứa bọt

- Nguyên nhân: Nguyên liệu thô, quy trình sản xuất, đóng gói, vận chuyển và bảo quản có tác động lớn đến độ ổn định của bọt, khi các yếu tố này gặp lỗi, sẽ dẫn đến sản phẩm không đạt tiêu chuẩn

 Phương pháp xử lý ảnh: Phương pháp xử lý ảnh được sử dụng trong đề tài này là phương pháp phát hiện cạnh và phương pháp thống kê giá trị pixel Phương pháp đầu tiên sẽ sử dụng thuật toán nhận dạng cạnh gradient để phát hiện lọ yến và kiểm tra mức dịch yến trong lọ Phương pháp thứ hai dùng thuật toán thống kê giá trị trung bình, giá trị độ lệch chuẩn của một vùng ảnh để kiểm tra có bọt trên bề mặt dịch yến.

Phương pháp thực hiện

Chụp hình ảnh lọ yến thực tế và sử dụng thư viện mã nguồn mở về xử lý ảnh trong ngôn ngữ lập trình Python để thử nghiệm các thuật toán Các bước thực hiện như sau:

Bước 1: Chuẩn bị các hình ảnh lọ yến bị lỗi/không bị lỗi để làm mẫu kiểm tra

Bước 2: Sử dụng một đường quét ngang để định vị nắp lọ yến trong ảnh Tìm các cạnh chuyển giao giữa nắp lọ yến trên đường quét và nền để định vị lọ yến

Bước 3: Phân tích đường quét Trên đường quét, dùng toán tử Gaussian để làm giảm nhiễu, và dùng các toán tử khác để tăng độ chính xác khi phát hiện cạnh

Bước 4: Tính đạo hàm bậc nhất của đường quét, chọn ngưỡng cho đạo hàm để tìm các cực trị Chọn ngưỡng kép cho khoảng cách giữa những cặp cực trị tìm được để giữ lại các cực trị có ý nghĩa là các cạnh Với mỗi cặp cực trị được giữ lại, chọn trung điểm để làm mốc cho đường quét dọc ở bước 5

Bước 5: Sau khi đã định vị được lọ yến, sử dụng đường quét dọc đi qua trung điểm ở bước 4, đường quét đi qua mức dịch yến và áp dụng lại các bước 3 và 4 một lần nữa để định vị mức dịch chiết trong lọ yến

Bước 6: Để phát hiện có bọt trong dịch chiết, sử dụng thuật toán thống kê ảnh gồm hai thông số giá trị pixel trung bình và giá trị độ lệch chuẩn trung bình trong vùng kiểm tra (ROI) được xác định dựa theo điểm mức dịch yến được định vị ở bước 5.

Các công trình nghiên cứu liên quan

Các nghiên cứu liên quan dưới đây đã ứng dụng xử lý ảnh để giải quyết vấn đề kiểm tra mức chất lỏng trong sản phẩm chai và kiểm tra chiều cao bọt bia trong ly theo thời gian Trong nghiên cứu kiểm tra mức chất lỏng, để phát hiện ra mức dịch trong chai, những thuật toán phát hiện cạnh đã được sử dụng Trong nghiên cứu phát hiện bọt, có sử dụng phương pháp phân tích vùng ROI bao quanh bọt và bia, sau đó dùng phân ngưỡng HSV để phát hiện bọt bia

1.4.1 Các nghiên cứu về phát hiện bề mặt dịch chiết- không khí

Nghiên cứu 1: Nghiên cứu [9] đề xuất một hệ thống gồm máy tính xử lý ảnh có trang bị camera được sử dụng để kiểm tra mức chất lỏng trong một chai

Trong nghiên cứu, một chai thủy tinh màu hổ phách được đổ đầy nước để chụp ba bức ảnh tương ứng với các trường hợp: chai đổ đầy quá mức chuẩn, đổ đúng mức chuẩn và đổ không đủ mức chuẩn Những bức ảnh này được chụp bằng camera CMOS có độ phân giải 4128x3096 của một điện thoại thông minh Các ảnh được căn chỉnh vào phần dưới của nắp chai bằng nhôm và được cắt thành các ảnh kích thước 4x4 inch Sự khác biệt về mức độ đổ đầy của chất lỏng trong các trường hợp - quá mức, đúng mức và không đủ mức - là đủ rõ ràng khi quan sát hình ảnh, do đó ảnh đủ tiêu chuẩn để hệ thống xử lý ảnh có thể phân biệt được

Các bức ảnh được xử lý sử dụng thuật toán Pithadiya [10], kết hợp với các kỹ thuật tiền xử lý ảnh bổ sung [11][12], để xác định mức độ đổ đầy của nước trong chai dựa trên khoảng cách từ cạnh ngang ở trên của vùng kiểm tra (ROI) xuống mức chất lỏng Thuật toán gồm các bước sau:

Bước 1: Chụp ảnh chai đổ đầy nước ở ba mức khác nhau - quá mức chuẩn, đúng mức chuẩn và không đủ mức chuẩn như hình bên dưới

Hình 1 11: Hình ảnh gốc ban đầu của chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Bước 2: Chuyển tất cả những bức ảnh trên sang ảnh xám

Hình 1 12: Hình ảnh thang đo màu xám của chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Sau đó làm giảm nhiễu trong ảnh bằng toán tử Gaussian với kernel 7x7 Áp dụng phát hiện cạnh Canny với ngưỡng [55, 110] và thuật toán đóng hình thái (morphological closing)

Hình 1 13: Hình ảnh áp dụng thuật toán phát hiện cạnh lên chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Bước 3: Xác định vùng kiểm tra (ROI), vùng kiểm tra được đánh dấu trên mỗi bức ảnh, vùng này đi qua phần mức chất lỏng trong chai

Hình 1 14: Hình ảnh tạo vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp

Bước 4: Xác định giá trị khoảng cách tối đa và tối thiểu cho phép của mức chất lỏng để làm giá trị ngưỡng kiểm tra cho mực chất lỏng trong chai ở bước 7 Đây là hai ngưỡng kẹp giữa bề mặt chất lỏng khi chất lỏng được đổ đúng mức chuẩn Từ hai điểm ngưỡng này, tính khoảng cách ở hai điểm ngưỡng đến ranh giới trên cùng của vùng kiểm tra để tạo ra hai khoảng cách tối thiểu và khoảng cách tối đa

Bước 5: Tìm các điểm tọa độ tạo nên cạnh trong vùng kiểm tra, có giá trị pixel là 1, những điểm này đại diện cho bề mặt chất lỏng trong chai

Bước 6: Tìm khoảng cách dọc giữa mỗi điểm tìm được và cạnh trên của vùng kiểm tra Khoảng cách này được tìm cho mỗi điểm, như được minh họa trong các hình bên dưới

Hình 1 15: Hình ảnh các đường khoảng cách từ mực nước lên cạnh trên của vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

Bước 7: Lấy giá trị trung bình của tất cả các đường khoảng cách So sánh giá trị trung bình này với khoảng cách tối đa và tối thiểu cho phép ở bước 4

 Nếu giá trị trung bình lớn hơn khoảng cách tối đa cho phép, chai được phân loại là không đổ đầy

 Nếu giá trị trung bình nhỏ hơn khoảng cách tối thiểu cho phép, chai được xem là đổ vượt mức

Nghiên cứu 2: Trong nghiên cứu [13] đã đề xuất thuật toán kiểm tra mức chất lỏng trong chai gồm các bước sau:

Bước 1: Hình ảnh của một chai đầy được chụp bằng máy ảnh CCD Hình ảnh được cắt xén chỉ xử lý một phần ở phía trên chai để kiểm tra mức nước, như được thể hiện trong hình 1 16

Hình 1 16: Hình ảnh gốc của chai nước

Bước 2: Các kỹ thuật phát hiện cạnh khác nhau như phát hiện cạnh dựa trên mẫu khác nhau, Canny, Laplacian of Gaussian và kỹ thuật phát hiện cạnh ISEF được áp dụng Các bước cần thiết cho mỗi thuật toán phát hiện cạnh ở trên được trình bày chi tiết trong tài liệu [13]

Bước 3: Sau khi áp dụng kỹ thuật phát hiện cạnh, một thuật toán được đề xuất để xác định mức độ đầy và không đầy của chai dựa trên khoảng cách của mức nước so với trung tâm của vùng kiểm tra (ROI)

Thuật toán được đề xuất: Xác định một vùng kiểm tra (ROI), chọn vùng nơi mức chất lỏng dự kiến sẽ ở Việc xác định ROI giúp thu hẹp phạm vi phân tích của quá trình đánh giá mức đầy của chai Sử dụng các bước tiếp theo để đo khoảng cách từ điểm tham chiếu trên cùng của chai (được xác định bởi hộp 1) đến mức chất lỏng thực tế bên trong chai (được xác định bởi hộp 2) (hộp 1 và hộp 2 được thể hiện trên hình 1 18) Đo các khoảng cách này và tính trung bình d avg để xác định xem mức chất lỏng vượt quá mức chuẩn (đầy) hay thấp hơn mức chuẩn (không đầy)

Bước 4: Xác định vùng kiểm tra, chọn một phần ngang của hình ảnh cần phân tích Đây sẽ là vùng sẽ xác định xem chai có được đầy đúng mức hay không Trong hình

1 17, vùng này được đánh dấu bằng một khung màu vàng ngang, bao quanh phần trung tâm của chai

Hình 1 17: Hình ảnh sau khi áp dụng phát hiện cạnh và xác định vùng kiểm tra(ROI)

Bước 5: Đường cuối của nắp chai được lấy làm mốc tham chiếu (hình 1 18) để đo mức chất lỏng trong chai Trong hình bên dưới, đường cuối của nắp chai (được chú thích là reference line) được dùng làm mốc tham chiếu cho việc đo khoảng cách với mực nước

Hình 1 18: Hình ảnh với Box 1, Box 2, và đường tham chiếu

Bước 6: Tìm mỗi pixel có giá trị 1 trong hộp 1 (hình 1 18), sau đó tìm kiếm theo một đường thẳng dọc từ pixel này xuống dưới Xác định pixel đầu tiên có giá trị 1 mà đường thẳng dọc này gặp phải trong hộp 2 dọc

Bước 7: Khi pixel tương ứng ở hộp 2 đã được tìm thấy, thuật toán sẽ tính khoảng cách dọc từ pixel này đến pixel tương ứng ở hộp 1

Nhìn nhận vấn đề và mục tiêu đề tài

1.5.1 Vấn đề cần giải quyết

Trong quá trình sản xuất lọ yến, vì công đoạn sản xuất là những quy trình phức tạp, có thể gây ra nhiễu lỗi sản phẩm bắt nguồn từ:

 Lỗi do nguyên liệu: Nguyên liệu đầu vào không đạt chất lượng, dẫn đến tạo ra nhiều bọt

 Lỗi do quá trình sản xuất: Quá trình sản xuất xảy ra sai sót như máy chiết rót sau một thời gian sử dụng độ chính xác trong chiết rót bị giảm khiết mức dịch chiết không đạt chuẩn, chưa đóng nắp lọ, chưa in nhãn, thương hiệu, hạn sử dụng

 Lỗi do con người: Người lao động không cẩn thận kiểm tra xót sản phẩm Để kiểm tra lỗi sản phẩm trong dây chuyền sản xuất lọ yến, hiện nay các doanh nghiệp thường sử dụng phương pháp kiểm tra thủ công Phương pháp này có một số hạn chế như:

 Độ chính xác không cao: Kiểm tra thủ công phụ thuộc vào kỹ năng và kinh nghiệm của người lao động, dễ dẫn đến sai sót

 Tốn nguồn lực công nhân: Kiểm tra thủ công cần có nhiều nhân công, thời gian kiểm tra lâu, ảnh hưởng đến năng suất sản xuất

Luận văn tập trung vào phát triển công nghệ xử lý ảnh để tự động hóa quy trình kiểm tra thành phẩm lọ yến, giải quyết vấn đề rủi ro bỏ xót sản phẩm lỗi do người lao động và tăng năng suất sản xuất Công nghệ xử lý ảnh này bao gồm:

 Kiểm tra mức dịch chiết trong lọ yến

 Kiểm tra có bọt trên bề mặt dịch chiết

Các nghiên cứu liên quan [12][13][14] đã giải quyết hai vấn đề trên Trong nghiên cứu kiểm tra mức dịch chiết, có sử dụng thuật toán phát hiện cạnh để kiểm tra mức dịch chiết trong chai Trong nghiên cứu phát hiện bọt, có sử dụng phương pháp phân tích vùng ROI để phát hiện bọt bia

Dựa theo các nghiên cứu liên quan, luận văn đề xuất một thuật toán xử lý ảnh dựa theo phát hiện cạnh kết hợp các thêm các kỹ thuật xử lý ảnh bổ sung dùng để phát hiện mức dịch chiết và thống kê giá trị pixel trong vùng ROI đi qua bề mặt dịch chiết để kiểm tra sự hiện diện bọt trên bề mặt dịch chiết

1.5.2 Mục tiêu chính của đề tài

Nghiên cứu phương án kiểm tra mức dịch chiết trong lọ yến Mục tiêu đạt được độ tin cậy 100% trong xác định mức dịch chiết

Nghiên cứu phương án phát hiện bọt trên bề mặt dịch chiết Mục tiêu đạt được là không bỏ xót lọ yến có chứa bọt

Mục tiêu xác định tính khả thi của phương án khi xử lý thực tế trên băng tải Thực hiện bằng cách kiểm tra trên hình ảnh tĩnh của sản phẩm thực tế và đánh giá kết quả trên ảnh tĩnh

Lựa chọn các phương pháp xử lý ảnh truyền thống nhưng vẫn đảm bảo tính hiệu quả (phát hiện được mức dịch và bọt, thời gian xử lý ảnh thấp) thay vì phương pháp tốn nhiều thời gian xử lý, phần cứng đắt tiền như trí tuệ nhân tạo

Kiểm tra trên hình ảnh tĩnh của sản phẩm thực tế để xác định tính khả thi của phương án.

CƠ SỞ LÝ THUYẾT VÀ MÔ HÌNH HÓA CÁC NGHIÊN CỨU LIÊN

Giới thiệu phát hiện cạnh trong xử lý ảnh

Phát hiện cạnh trong xử lý ảnh là phương pháp xác định ranh giới giữa hai vùng có cường độ sáng khác biệt, các ranh giới này được tạo ra bởi các đối tượng nằm trên các vùng có sự thay đổi giữa màu sắc, cường độ sáng, hoặc kết cấu khác nhau trong hình ảnh Trong nhiều ứng dụng như phân đoạn hình ảnh, đối sánh hình ảnh, nhận dạng khuôn mặt, phát hiện chướng ngại vật, nhận dạng mục tiêu, và nén hình ảnh, phát hiện cạnh thường là bước khởi đầu trong các thuật toán thực hiện các ứng dụng trên [15]

Khi chọn phương pháp phát hiện cạnh, cần xem xét các yếu tố gồm hướng của cạnh (dọc, ngang, chéo), nhiễu từ môi trường trong ảnh, cấu trúc của cạnh, sau đó chọn các toán tử phát hiện cạnh phù hợp Các toán tử phát hiện cạnh phổ biến là Sobel, Prewitt, Canny, Các toán tử này sử dụng công thức toán học khác nhau để tối ưu hóa khả năng nhận diện cạnh theo từng hướng cụ thể Trong các môi trường có nhiễu, các nhiễu có thể tạo ra các thay đổi đột ngột, các thay đổi này tạo thành các cạnh giả, do đó khi phát hiện cạnh sẽ gặp vấn đề là ảnh có nhiễu sẽ làm giảm khả năng phân biệt giữa cạnh thực sự và nhiễu Do đó cần phải lọc đi nhiễu, khi học nhiễu phải chọn phương pháp phù hợp để không làm mất đi thông tin về các cạnh thực sự [16]

Trong trường hợp cả nhiễu và cạnh đều chứa thông tin thể hiện sự thay đổi nhanh giữa các pixel, cần phải áp dụng các phương pháp tách biệt cạnh từ nhiễu mà không làm mất thông tin quan trọng (nhiễu này có thể tạo ra từ các biến đổi cường độ ảnh ngẫu nhiên, các biến đổi này không phản ánh đặc điểm nào của ảnh chụp) Một vấn đề khác là khi lọc nhiễu thì cần sử dụng toán tử làm mịn ảnh, quá trình này có thể làm cạnh thực sự bị mất đi độ sắc nét, các cạnh trở nên mờ [17].

Tác động của nhiễu

Nhiễu trong ảnh tạo ra sự khác biệt lớn về độ sáng giữa các pixel và các toán tử đạo hàm gradient (chương 2 2) rất nhạy cảm với nhiễu Hình 2 1 là đồ thị giá trị cường độ sáng rút ra từ một đường thẳng có độ dài 200 pixel đi qua ranh giới giữa hai vùng có giá trị cường độ sáng khác biệt, ranh giới (cạnh) của hai vùng này nằm ở vị trí 50 pixel của đường thẳng

Hình 2 1: Đồ thị giá trị cường độ sáng (có những điểm nhiễu đáng kể)

Hình 2 2 là đạo hàm bậc nhất (chương 2 2) của đồ thị hình 2 1, có các điểm khác tạo ra các giá trị cực trị lớn, gần bằng cực trị tại điểm cạnh thật (cạnh thật ở vị trí 50 pixel) gây ra các điểm cạnh giả Điều này sẽ được giải thích kỹ hơn trong thuật toán đề xuất ở chương 3

Hình 2 2: Đồ thị đạo hàm bậc nhất trước khi áp dụng toán tử Gaussian (có những điểm nhiễu đáng kể)

Phương pháp loại bỏ nhiễu trong hình ảnh:

Toán tử Gaussian được sử dụng để giảm nhiễu trong ảnh và các chi tiết của ảnh Các bước liên quan đến việc triển khai toán tử Gaussian trên hình ảnh [18]:

Bước 1: Xác định hàm tích chập được áp dụng lặp lại trên hình ảnh dựa trên kích thước hạt nhân (toán tử Gaussian)

Trong hình 2 3, hình ảnh bên trái biểu thị hình ảnh gốc với hộp màu đỏ làm kernel tính toán giá trị từ tất cả chín pixel và chèn vào pixel trung tâm

Hình 2 3: Kernel của toán tử Gaussian được lặp trên ảnh [18]

Bước 2: Xác định hàm Gaussian dựa trên kích thước của  (độ lệch chuẩn)

Công thức của hàm Gaussian:

Sau đó, khử nhiễu hình ảnh trước khi phát hiện cạnh để loại bỏ các cực trị trong đạo hàm bậc nhất gây ra các cạnh giả

Trong hình 2 4, toán tử Gaussian được sử dụng lên hình ảnh 2 1 Kết quả đồ thị sạch hơn nhiều so với việc không sử dụng toán tử Gaussian

Hình 2 4: Đồ thị giá trị cường độ sáng trước và sau khi áp dụng toán tử Gaussian

(có những điểm nhiễu đáng kể)

Hình 2 5 là đạo hàm bậc nhất sau khi áp dụng toán tử Gaussian, kết quả cho thấy các điểm nhiễu gây ra cực đại lớn đã bị lọc đi, cực trị tạo ra bởi các điểm đó (các điểm

23 pixel, 112 pixel đến 175 pixel) đã có giá trị nhỏ hơn rất nhiều so với cực trị của điểm cạnh thật (điểm 50 pixel))

Hình 2 5: Đồ thị giá trị đạo hàm bậc nhất trước và sau khi áp dụng toán tử Gaussian

(có những điểm nhiễu đáng kể)

Các phương pháp phát hiện cạnh thường gặp

Phần lớn các phương pháp phát hiện cạnh có thể được nhóm thành hai loại:

 Phương pháp đạo hàm bậc nhất: Phương pháp này lấy đạo hàm bậc một của giá trị cường độ ánh sáng trên toàn bộ ảnh và tìm những điểm có giá trị đạo hàm là lớn nhất để xác định vị trí của cạnh

 Phương pháp đạo hàm bậc hai: Trong phương pháp này, sau khi lấy đạo hàm bậc hai của cường độ sáng, có những điểm trên đạo hàm bậc hai gọi là zero crossing là những điểm mà tại đó giá trị chuyển từ dương sang âm hoặc ngược lại, hay giá trị không Giá trị này chỉ ra một sự thay đổi đáng kể trong cường độ ánh sáng, điều kiện cần thiết để xác định một cạnh Một toán tử đạo hàm bậc hai là Laplacian, không chỉ nhận diện các cạnh mà còn xác định hướng của cạnh Toán tử này không ưu tiên hướng nào, làm cho toán tử này trở nên hữu ích trong việc phát hiện cạnh ở mọi hướng [19]

Hình 2 6 và 2 7 bên dưới thể hiện đạo hàm bậc nhất và bậc hai lên đồ thị giá trị cường độ sáng rút ra từ một đường thẳng có độ dài 200 pixel, độ rộng 1 pixel đi qua ranh giới giữa hai vùng có phân vùng cường độ sáng khác nhau Toán tử Gaussian cũng đã được sử dụng lên giá trị cường độ sáng để làm giảm nhiễu

Hình 2 6: Toán tử Gaussian áp dụng lên đường đi qua phân vùng khác nhau

Hình 2 7: Ảnh hưởng của nhiễu trên đồ thị cường độ sáng và các đạo hàm (màu cam: đồ thị không có nhiễu, màu xanh: đồ thị có nhiễu)

2.2.1 Phương pháp phát hiện cạnh gradient bậc nhất

Trong không gian một chiều duy nhất, một cạnh có thể được mô tả là điểm có sự thay đổi đột ngột về cường độ, điều này tương đương với một đỉnh trong đồ thị của đạo hàm bậc nhất của hàm cường độ Độ dốc của hàm này đo lường tốc độ và hướng của sự thay đổi trong cường độ, và một ảnh có thể được xem như là một tập hợp các điểm mẫu từ một hàm cường độ liên tục

Trong không gian hai chiều của ảnh, những thay đổi về cường độ được phát hiện thông qua việc tính toán đạo hàm bậc nhất theo cả hai hướng, sử dụng các toán tử đạo hàm rời rạc để tính gần đúng sự thay đổi này Gradient trong không gian hai chiều, được biểu diễn dưới dạng một vectơ gồm hai thành phần: một cho thay đổi theo hướng ngang và một cho thay đổi theo hướng dọc Vectơ này chỉ ra sự thay đổi về cường độ và hướng của sự thay đổi đó, giúp xác định vị trí và hướng của các cạnh trong ảnh [20]

Gradient tương đương hai chiều của đạo hàm bậc nhất và được định nghĩa là vectơ:

Có hai đặc tính quan trọng liên quan đến gradient:

 Vector G f x y  ( , )  chỉ hướng tăng của hàm ( , )f x y

 Độ lớn của gradient, được tính bởi

, bằng với tốc độ tăng tối đa của ( , )f x y trên mỗi đơn vị khoảng cách theo hướng G

Một phương pháp thông thường là ước lượng độ lớn của gradient bằng giá trị tuyệt đối:

Hoặc ước lượng như sau:

Theo phân tích vector, hướng của gradient được xác định là:

Trong đó góc  được đo với trục x Độ lớn của gradient thực tế là độc lập với hướng của cạnh Các toán tử như vậy được gọi là toán tử đẳng hướng

Trong các ảnh số, có thể coi dx & dy theo số pixel giữa hai điểm dx = dy = 1 (khoảng cách pixel) là điểm tại đó tọa độ pixel là (i, j), do đó giá trị của G x và G y cho phương x và phương y có thể được tính theo phương trình:

Trong đó j tương ứng với hướng x và i tương ứng với hướng y âm Các ước lượng này có thể được thực hiện bằng cách sử dụng các mặt nạ tích chập đơn giản

Khi tính toán ước lượng cho gradient, việc tính toán đạo hàm riêng theo x và y tại cùng một vị trí trong không gian là rất quan trọng Tuy nhiên, với các ước lượng trên,

Gx thực sự là ước lượng cho gradient tại điểm nội suy 1

Vì lý do này, ma trận 2 x 2 thường được sử dụng cho đạo hàm riêng theo x và y thay vì ma trận 2 x 1 và 1 x 2

Bây giờ, các vị trí mà tại đó gradient theo hướng x và y được tính toán là giống nhau Điểm này nằm giữa tất cả bốn điểm ảnh trong khu vực lân cận 2 x 2 tại điểm nội suy

  Điều này có thể gây ra một số nhầm lẫn Do đó, một cách tiếp cận khác là sử dụng ma trận 3 x 3 và tính toán gradient xung quanh điểm trung tâm Các phương pháp này được trình bày ở chương tiếp theo

2.2.2 Các toán tử của phương pháp phát hiện cạnh gradient bậc nhất

Toán tử Robert ước lượng đơn giản độ lớn gradient theo công thức sau:

G f i j  f i j  f i j  f i j  f i j (2.13) Khi thể hiện bằng ma trận tích chập, phương trình trở thành:

Trong đó G x và G y được tính toán sử dụng ma trận sau:

Tương tự toán tử tính gradient đạo hàm bậc nhất (công thức 2.11 và 2.12), đạo hàm được tính tại điểm 1 1

  Toán tử Robert ước lượng gradient tại điểm đó mà không phải điểm  i j ,

Toán tử Sobel là một toán tử phổ biến khác trong phương pháp gradient Đây là một toán tử vi phân rời rạc, tính toán xấp xỉ độ dốc của hàm cường độ ảnh [28]

Khác với cách tính gradient tại điểm nội suy 1 1

 , trong toán tử sobel sử dụng một ma trận 3x3 lên điểm đang xét để tính toán gradient Toán tử sobel là một độ lớn của gradient được tính bởi:

Trong đó đạo hàm riêng được tính bằng

Với giá trị hằng số c  2

Tương tự như các toán tử gradient khác, s x và s y có thể được triển khai sử dụng ma trận tích chập sau:

Toán tử Sobel tạo ra một vectơ gradient 2D tại mỗi điểm ảnh, với thành phần ngang và dọc là đạo hàm của hàm cường độ theo hướng tương ứng Tại mỗi điểm ảnh, gradient cho biết tốc độ tăng cường độ lớn nhất và hướng gradient chỉ hướng tăng cường độ đó Kết quả của toán tử Sobel tại bất kỳ điểm ảnh nào nằm trong vùng có cường độ ảnh không đổi là một vectơ 0 và tại một điểm trên một cạnh là một vectơ hướng qua cạnh, từ giá trị tối hơn đến sáng hơn [21]

Toán tử Prewitt sử dụng ma trận kích thước 3x3 như toán tử Sobel, ngoại trừ giá trị hằng số c  1 Do đó:

Không giống như toán tử Sobel, toán tử Prewitt không tập trung vào các pixel ở gần trung tâm của ma trận

Tóm tắt bảng ma trận cho toán tử được cho trong bảng như sau:

Bảng 2 1: Các toán tử phát hiện cạnh

Toán tử phát hiện cạnh Ma trận tích chập G x Ma trận tích chập G y

Nguồn ETU-Net: edge enhancement-guided U-Net with transformer for skin lesion segmentation [22]

2.2.3 Công thức phát hiện cạnh Laplacian of Gaussian

Vấn đề đầu tiên là khi sử dụng các toán tử đạo hàm bậc nhất, cần phải áp dụng các toán tử riêng biệt để phát hiện các cạnh dọc và ngang và kết hợp cả hai toán tử Trong khi đó khi sử dụng toán tử đạo hàm bậc hai Laplacian thì sẽ phát hiện tất cả các cạnh bất kể hướng nào [23]

Vấn đề thứ hai là các điểm biên được phát hiện bằng cách tìm giao điểm 0 của đạo hàm bậc hai của cường độ ảnh bị nhạy với nhiễu Vì vậy, cần giảm nhiễu trước khi thực hiện các đạo hàm Để thực hiện điều này, phương pháp Laplacian of Gaussian, do Marr và Hildreth đề xuất, đã kết hợp cả toán tử giảm nhiễu Gaussian và toán tử Laplacian [20] Đạo hàm bậc hai của cạnh là hàm đi qua điểm 0 tại vị trí của cạnh (hình 2 8)

Hình 2 8: Mô tả phương pháp tìm ra cạnh trong phương pháp sử dụng đạo hàm bậc hai [20]

Tính mới của luận văn

Ứng dụng thực tế: luận văn tập trung vào việc xác định mức dịch yến và bọt trên bề mặt dịch yến trong lọ yến trong một dây chuyền sản xuất lọ yến tại nhà máy

Phương pháp để xác định mức dịch chiết: Các phương pháp đã trình bày tập trung vào toán tử phát hiện cạnh và giảm nhiễu Luận văn không áp dụng toán tử phát hiện cạnh lên toàn bộ ảnh, chỉ áp dụng lên toán tử đạo hàm bậc nhất lên một phân vùng ảnh đi qua nắp lọ yến và mức dịch chiết Ngoài ra thuật toán trong luận văn bổ sung, kết hợp nhiều bước xử lý ảnh vào lên phân vùng lấy mẫu trên gồm tạo độ rộng cho đường thẳng lấy mẫu để giảm nhiễu, phân tích giá trị  phù hợp cho toán tử giảm nhiễu Gaussian, đề xuất sử dụng nội suy neareast neighbor, bilinear, hồi quy quadratic trong phần thuật toán để tăng độ chính xác khi tìm mức dịch, Cuối cùng là đặt ngưỡng để tìm ra các cạnh Sự tích hợp nhiều quy trình xử lý ảnh này giúp cho phát hiện mức dịch chiết đạt độ chính xác cao hơn

Phương pháp để xác định bọt: Việc xác định bọt trên bề mặt dịch yến cũng thiết lập một vùng kiểm tra (ROI) giống với nghiên cứu [14], nhưng thay vì thực hiện chuyển đổi ngưỡng màu từ RGB thành HSV và chọn ngưỡng để lọc bọt, luận văn thực hiện phương pháp khác là thống kê giá trị pixel trung bình và giá trị độ lệch chuẩn trung bình trung vùng kiểm tra, sau đó đặt ngưỡng kép dựa trên thử nghiệm thực tế để xác định bọt.

XÂY DỰNG PHƯƠNG ÁN KIỂM TRA MỰC NƯỚC TRONG LỌ YẾN

Quy trình thuật toán xử lý hình ảnh

Dựa theo phương pháp cài đặt vùng kiểm tra động trong nghiên cứu [33], luận văn đề xuất quy trình thuật toán xử lý hình ảnh cho một hệ thống kiểm tra mức chiết dịch yến và phát hiện bọt trong dây chuyền nhà máy gồm các bước sau:

Hình 3 1: Quy trình xử lý hình ảnh cho hệ thống kiểm tra lọ yến

Hệ thống phát hiện lỗi của dịch lọ yến được xây dựng gồm:

 Hệ thống cơ khí tách các lọ trên băng chuyền để đảm bảo rằng chỉ có một lọ trong khung hình chụp, cảm biến phát hiện lọ, camera công nghiệp để chụp ảnh khi có tín hiệu nhận được từ cảm biến, thiết bị chiếu sáng do điều kiện ánh sáng trong nhà máy không ổn định, bộ xử lý thuật toán

 Cảm biến sau khi phát hiện lọ sẽ truyền tín hiệu để camera chụp lại ảnh, cần cải thiện chất lượng ánh sáng của môi trường khi chụp ảnh Bước tiếp theo là xác định vùng xử lý ảnh Sau đó 2 thuật toán để tìm mức dịch chiết và phát hiện bọt được áp dụng lên ảnh

 Nếu sản phẩm nào có lỗi chương trình sẽ gửi tín hiệu báo lỗi đến PLC để điều khiển hệ thống cơ khí gạt lọ đó ra để sửa lỗi bằng cách thủ công như thêm mức dịch chiết.

Phương pháp xác định mức dịch của lọ yến

Thuật toán xác định mức dịch chiết được thể hiện như lưu đồ trên hình 3 2:

Hình 3 2: Lưu đồ thuật toán xác định mức dịch chiết trong lọ yến

Các bước cụ thể của thuật toán như sau:

Bước 1: Xác định vị trí của đường lấy mẫu, đường thẳng này phải cho nằm ngang, vuông góc với phần cạnh của vành sắt lọ yến Đường thẳng này có một thông số độ dày được sử dụng để làm giảm nhiễu trong hình ảnh

Bước 2: Giới hạn của đường thẳng đi qua nắp lọ yến

Phương trình đường thẳng này trong không gian ảnh là: y = c

Trong đó c là hằng số để xác định vị trí của đường thẳng trên trục y

Giới hạn cho đường thẳng là 2 điểm có tọa độ bắt đầu là ( , ) x y 0 và tọa độ kết thúc là

Chiều rộng của đường quét có giá trị là: x x 1  0

Giá trị pixel của một điểm trên đường thẳng là I(x,y)

Tọa độ tại một điểm ( , ) x y i i trên đường thẳng được tính công thức:

Trong đó N là số lượng điểm ảnh pixel trên đường thẳng

Hình 3 3: Hình ảnh lọ yến mẫu kèm vùng lấy giá trị pixel

Bước 3: Xác định phương pháp nội suy được sử dụng để tăng số lượng điểm ảnh

Phương pháp nội suy ảnh dùng để ước tính giá trị pixel trung gian giữa các điểm pixel đã biết giá trị Phương án này dùng để làm mịn dữ liệu ảnh thu được trên đường thẳng, giúp cải thiện độ chính xác trong phát hiện cạnh Phương pháp nội suy ảnh thường được sử dụng là nearest-neighbor, nội suy tuyến tính, bilinear,…[34]

Hình 3 4: Minh họa giá trị điểm nội suy của neareast neighbor và bilinear [35]

Nội suy nearest-neighbor Đây là phép nội suy đơn giản nhất Trong phương pháp này, mỗi pixel đầu ra được nội suy sẽ được gán giá trị của điểm mẫu gần nhất trong ảnh đầu vào, hay pixel thực hiện nội suy sẽ có giá trị bằng giá trị pixel đã biết gần nhất

Công thức nội suy nearest-neighbor [36]: noisuy nearest p  p (3.3)

Trong đó p nearest là giá trị gần nhất với những điểm đang đưa vào quá trình nội suy

Nội suy nearest-neighbor là loại nội suy đơn giản nhất yêu cầu rất ít phép tính, cho phép nó trở thành thuật toán nhanh nhất nhưng thường mang lại chất lượng hình ảnh kém nhất

Nội suy song tuyến tính được sử dụng để biết các giá trị ở vị trí ngẫu nhiên từ mức trung bình có trọng số của bốn pixel gần nhất với tọa độ đầu vào được chỉ định và gán giá trị đó cho tọa độ đầu ra Hai phép nội suy tuyến tính được thực hiện theo một hướng và phép nội suy tuyến tính tiếp theo được thực hiện theo hướng vuông góc

Công thức nội suy bilinear [36]

Trong đó: (x, y) là vị trí cần nội suy trong khoảng từ 0 đến 1

Hình 3 5: Sơ đồ minh họa cho công thức nội suy bilinear [36]

Phương pháp bilinear được sử dụng vì cho độ chính xác cao hơn nearest-neighbor và nội suy tuyến tính, phương pháp này dùng 4 pixel liền kề để xác định giá trị pixel trung gian

Hình 3 6: So sánh Nội suy nearest neighbor và nội suy bilinear [37]

Trên hình 3 6, nội suy nearest neighbor cho kết quả là một hình ảnh với các khối màu, nội suy bilinear cho kết quả là hình ảnh mượt hơn với các chuyển tiếp màu sắc ít rõ ràng hơn

Bước 4: Phân tích quá trình quét sọc

Sử dụng toán tử Gaussian để giảm thiểu nhiễu: Các giá trị  khác nhau trong hàm Gaussian sẽ ảnh hưởng đến kết quả giảm nhiễu [38] Trong trường hợp phân tích đường quét này, toán tử được chọn thông số  để loại bỏ nhiễu gây ra các giá trị cực đại sai lệch trong đạo hàm, đồng thời vẫn đảm bảo giữ nguyên được các cạnh thực tế trong hình ảnh Hình 3 7 minh họa biểu đồ cường độ ảnh rút ra từ một đường thẳng đi qua ranh giới của một đối tượng nằm trên một nền có màu khác Hình 3 8 minh họa biểu đồ sau khi áp dụng toán tử Gaussian để làm giảm nhiễu

Hình 3 7: Biểu đồ cường độ ảnh của đường thẳng đi qua đối tượng nằm trên nền ảnh

Hình 3 8: Biểu đồ cường độ ảnh sau khi làm mịn bằng toán tử Gaussian Tiếp theo, nội suy hồi quy quadratic cho 3 điểm (parabol 3 điểm), hoặc 4 điểm (parabol cho 4 điểm) để tăng độ chính xác của phát hiện sọc

Hình 3.10 thể hiện một cường độ của một đường quét đi qua ranh giới giữa hai vùng và đạo hàm bậc nhất của nó Minh họa phương pháp nội suy hồi quy quadratic như trên hình 3 11, điểm cạnh đang tìm kiếm không lấy từ cực trị của đạo hàm bậc nhất là 4.5 như hình 3 10, mà có thể được lấy từ điểm cực đại của parabol, trong trường hợp mô phỏng trên hình 3 11, là 4.363, đây đã là kết quả chính xác với cạnh thực tế hơn

Hình 3 9: Biên dạng cạnh và đạo hàm

Hình 3 10: Lắp một parabol vào ba điểm liên tiếp

Tính đạo hàm bậc 1 của trắc đồ, tạo một giá trị ngưỡng cho đạo hàm, cực trị của đạo hàm có độ lớn ít nhất là bằng giá trị ngưỡng được xác định là các cạnh Các cạnh có đạo hàm thấp hơn ngưỡng này sẽ không được coi là cạnh

Sau khi sử dụng ngưỡng để định vị được các vị trí có khả năng là cạnh trên biểu đồ Chọn ngưỡng độ rộng tối thiểu cho một cặp cạnh, độ rộng tối đa cho một cặp cạnh Điều chỉnh giá trị độ rộng tối thiểu và tối đa gần bằng giá trị khoảng cách giữa cạnh vành sắt của lọ yến, điều này giúp loại bỏ các cạnh phát hiện sai vì tác động của nhiễu do ánh sáng đèn trong nhà máy, hoặc trong trường hợp lọ yến thứ 1 bị kẹt không chạy tiếp trên băng chuyền được, ảnh chụp lọ yến thứ hai có bao gồm cả lọ thứ nhất, điều này khiến đường thẳng không chỉ đi qua phần vành sắt của lọ yến thứ hai mà có bao gồm cả vành sắt của lọ yến thứ nhất

Xét một ma trận chứa tất cả khoảng cách giữa từng cặp điểm trong tập cực trị, giá trị nào nằm trong ngưỡng sẽ giữ lại và được sử dụng cho bước 5

Hình 3 11: Giá trị lớn của đạo hàm chỉ ra sự thay đổi cường độ ảnh nhanh, giá trị gần 0 thể hiện sự thay đổi chậm hoặc không đổi

Hình 3 12: Đường y = 5 và y = -5 là ngưỡng được chọn để xác định những vùng có khả năng là cạnh

Cách chọn ngưỡng phù hợp:

 Sử dụng phương pháp phân tích miền giá trị: Từ miền ảnh được vẽ, phân tích chọn ngưỡng để xác định ngưỡng dựa trên các đặc điểm của miền ảnh

 Sử dụng phương pháp thử nghiệm: Các giá trị ngưỡng khác nhau được thử nghiệm và chọn giá trị cho kết quả tốt nhất

Bước 5: Xác định mức dịch yến

Sau khi xác định được các điểm cực trị giữ lại, tính điểm trung tâm giữa 2 cặp cực trị liên tiếp

Tạo một hệ tọa độ từ điểm trung tâm vừa tìm được, dùng hệ tọa độ này làm gốc tọa độ để vẽ đường thẳng đi qua dịch yến để kiểm tra mức dịch

Phương pháp xác định bọt trên bề mặt dịch chiết trong lọ yến

Hình 3 14: Lưu đồ thuật toán kiểm tra bọt trên bề mặt dịch yến

Bước 1: Xác định vùng kiểm tra (ROI) trong hình ảnh phần dịch chiết có bọt Vùng kiểm tra cần che toàn bộ chiều cao của bọt và một phần dịch chiết Tất cả các bước xử lý hình ảnh được thực hiện trên ROI này

Bước 2: Thực hiện thống kê trong vùng ROI gồm thống kê giá trị pixel trung bình, giá trị độ lệch chuẩn pixel

Giá trị pixel trung bình được tính bằng tổng của tất cả giá trị pixel trong vùng kiểm tra và chia cho tổng số pixel [39]:

Trong đó: p x y( , ) là giá trị của pixel tại tọa độ (x,y) trong vùng kiểm tra, và W và H là chiều rộng và chiều cao của vùng kiểm tra, N là tổng số pixel trong vùng kiểm tra, tức là N  W  H

Giá trị độ lệch chuẩn pixel đo lường mức độ phân tán của giá trị pixel so với giá trị trung bình Được tính theo công thức [40]:

Bước 3: Xác định ngưỡng cho giá trị pixel trung bình và giá tri độ lệch chuẩn trung bình bằng cách sử dụng thử nghiệm thực tế trên nhiều mẫu có bọt và không có bọt khác nhau và điều chỉnh ngưỡng phù cho 2 giá trị thống kê này Các giá trị nào nằm ngoài ngưỡng này được xác định là không có bọt, các giá trị nằm trong ngưỡng được xác định là có bọt.

KẾT QUẢ CỦA PHƯƠNG ÁN XỬ LÝ ẢNH KHI ÁP DỤNG LÊN SẢN PHẨM

Kết quả xác định mức dịch chiết

Hình ảnh được chụp tĩnh, một đường dẫn nằm ngang đi qua vành sắt lọ yến (hình 4 1), từ đó trích xuất ra trắc đồ độ sáng cho 3 kênh màu (hình 4 2)

Mức dịch chiết được kiểm tra bằng cách thực hiện phân tích hình ảnh Phương án thực hiện đã loại bỏ đi một kỹ thuật xử lý ảnh trong bước phân tích vùng kiểm tra được đề xuất trong thuật toán ở chương 3, bao gồm lựa chọn toán tử nearest neighbor, bilinear, nội suy hồi quy quadratic Độ chính xác của quá trình xác định mức dịch chiết trong kết quả thu được khi bỏ đi các kỹ thuật này vẫn cho kết quả cao Để thuận tiện cho việc xử lý ảnh, 3 kênh màu được kết hợp lại thành một kênh thông qua tính giá trị trung bình của 3 kênh màu ở từng cột pixel (hình 4 3)

Sau đó toán tử giảm nhiễu Gaussian được áp dụng, trắc đồ được làm mịn bằng hàm làm mịn Gaussian với độ lệch chuẩn được chọn có giá trị được điều chỉnh phù hợp thông qua thử nghiệm để loại bỏ các nhiễu có thể đưa ra cực trị sai/không liên quan khi tính đạo hàm bậc nhất, nhưng đủ thấp để bảo toàn các cạnh thực tế mà sẽ cần phát hiện (hình 4 4)

Sau khi trích xuất và tinh chỉnh trắc đồ cường độ sáng, đạo hàm bậc nhất của trắc đồ được tính toán (hình 4 6) Các điểm cạnh được xác định dựa trên cực trị của đạo hàm, tham số ngưỡng cực trị được thiết lập dựa trên kết quả quan sát đồ thị đạo hàm bậc nhất (hình 4 7) Cực trị có độ lớn ít nhất bằng giá trị được thử nghiệm được xác định là các điểm cạnh (hình 4 8) Áp dụng phương pháp này trên hình ảnh thực tế, đầu tiên thu thập giá trị pixel dọc theo một đường thẳng quét nằm ngang xác định, đường thẳng này lấy tọa độ như sau: giá trị pixel ở hàng 1000, cột từ 1300 đến 3000

Hình 4 1: Đường thẳng lấy giá trị pixel

Tiếp theo thực hiện trích xuất ra trắc đồ độ sáng cho ba kênh màu, kết quả thu được ở trên hình 4 2 và áp dụng tính giá trị trung bình của ba kênh màu để kết hợp thành một giá trị mới, kết quả thu được ở hình 4 3

Hình 4 2: Đồ thị cho từng kênh màu trước khi nội suy

Hình 4 3: Đồ thị kết hợp ba kênh màu khi nội suy

Hình 4 2 là đồ thị thể hiện cường độ ba kênh màu trước khi tính giá trị trung bình Đồ thị có ba đường thể hiện cho ba kênh màu đỏ, xanh lá, xanh dương riêng biệt trong không gian RGB Các đỉnh trên đồ thị thể hiện sự thay đổi cường độ sáng tại các điểm khác nhau trên đường quét Hình 4 3 là đồ thị thể hiện kết hợp ba kênh kết màu bằng cách tính giá trị trung bình của ba màu ở mỗi cột

Tiếp theo áp dụng hàm Gaussian để làm giảm nhiễu có thể gây ra cực trị sai khi tính đạo hàm bậc nhất Thử nghiệm các thông số  của hàm làm giảm nhiễu Gaussian để chọn thông số  phù hợp Trong hình 4 4, các giá trị  khác nhau từ 0.6 đến 150 được thử nghiệm

Hình 4 4: Áp dụng hàm giảm nhiễu Gaussian với các giá trị  khác nhau

Từ đồ thị hình 4 4, ta rút ra nhận xét sau:

 Đường cong đồ thị mượt hơn khi giá trị  tăng lên, do đó nhiễu sẽ được giảm nhiều hơn khi giá trị  càng tăng Nhưng tăng giá trị  quá cao dẫn đến mất đi thông tin các cạnh thực trong hình ảnh

 Giá trị sigma quá thấp ( = 0.6 hoặc 1): nhiều nhiễu còn giữ lại

 Giá trị sigma phù hợp ( = 5,7,…25): độ nhiễu thấp, giữ nguyên các cạnh thực sự

 Giá trị sigma quá cao ( = 50 hoặc 100): các cạnh thực sự bị giảm bớt

Từ hình 4 4, sau khi thử nghiệm các giá trị sigma khác nhau, giá trị  = 5 cho thấy là lựa chọn phù hợp, giúp giữ nguyên các cạnh thực tế mà vẫn làm giảm đáng kể nhiễu Để có cái nhìn rõ ràng hơn, đồ thị ở dưới minh họa trắc đồ trước và sau khi áp dụng hàm gaussian với  = 5, cũng như khi quan sát đồ thị đạo hàm bậc nhất, có thể thấy rõ các điểm cực trị trên đồ thị thể hiện các cạnh trên hình ảnh

Hình 4 5: Đồ thị cường độ sau giảm nhiễu bằng toán tử Gaussian ( =5)

Hình 4 6: Đạo hàm bậc nhất sau giảm nhiễu bằng toán tử Gaussian ( =5)

Hình 4 5 là đồ thị thể hiện giá trị cường độ sau khi đã được giảm nhiễu bằng toán tử Gaussian với giá trị =5 Giá trị cường độ đã mượt hơn so với trước khi sử dụng toán tử Gaussian (hình 4 3) Hình 4 6 là đồ thị thể hiện đạo hàm bậc nhất sau khi đã áp dụng toán tử Gaussian, được sử dụng cho quan sát giá trị ngưỡng lọc cực trị

Hình 4 7 mô tả đồ thị đạo hàm bậc 1 với ngưỡng được chọn Trong trường hợp này, cực trị có ý nghĩa khi độ lớn nằm trong khoảng từ 1.5 đến 2, trong khi độ lớn của cực trị khác thấp hơn 1.5 Do đó, bất kỳ giá trị cực trị nào trong phạm vi (1.5, 2) đều phù hợp

Hình 4 7: Giao điểm của đạo hàm bậc

Hình 4 8: Các cực trị tìm được từ ngưỡng kép y = 2 và y=-2

Tám đỉnh của đạo hàm trắc đồ (hình 4 7) tương ứng với 8 cạnh hình ảnh nổi bật trên vùng kiểm tra (hình 4 1) Các đỉnh mạnh hơn giá trị ngưỡng cường độ tối thiểu đã chọn (ở đây cường độ tối thiểu được đặt thành 2) được xác định là các cạnh nổi bật (hình 4 8)

Chọn khoảng khoảng cách tối thiểu giữa các sọc liên tiếp, khoảng cách tối đa giữa các sọc liên tiếp (đơn vị tính bằng pixel) để lọc các sọc sai xuất hiện

Dựa theo đồ thị thu được trên hình 4 8, có thể chọn khoảng như sau: Khoảng cách tối thiểu giữa các sọc liên tiếp: 300 pixel, khoảng cách tối đa giữa các sọc liên tiếp: 600 pixel Khoảng giá trị này là vừa đủ để giảm bớt số điểm cực trị còn 4 điểm như hình 4 9, trên hình 4 9 đã thể hiện các điểm cực trị giữ lại sau khi lọc qua ngưỡng khoảng cách tối thiểu và khoảng cách tối đa Sau đó lấy giá trị trung bình giữa 2 cực trị liên tiếp trong bốn điểm này như trên hình 4 10, hai điểm trung bình thu được trên hình 4 10 này được sử dụng làm gốc cho vùng kiểm tra (ROI) để xác định mức dịch chiết

Hình 4 9: Các điểm cực trị còn giữ lại sau khi chọn ngưỡng khoảng cách tối thiểu và khoảng cách tối đa

Hình 4 10: Các điểm cực trị còn giữ lại cho kiểm tra mực chất lỏng

Xác định mức dịch chiết: Từ hai điểm thu được khi định vị vành sắt lọ yến, tạo hai vùng kiểm tra đi qua hai điểm này, hai vùng kiểm tra được tạo để bao phủ vùng dịch chiết lọ yến, nhưng không chạm vào phần nắp sắt của lọ yến

Hình 4 11: Vùng kiểm tra mức dịch chiết

Vùng kiểm tra mức dịch chiết thứ 1:

Hình 4 12: Vùng kiểm tra mức dịch chiết thứ 1

Kết quả kiểm tra sự hiện diện của bọt trên mức dịch chiết

Để phát hiện bọt trên mức chất lỏng Từ điểm mức chất lỏng, tạo một vùng ROI ở trên bề mặt chất lỏng, áp dụng phân tích cường độ sáng trong vùng ROI này dựa vào quan sát thực tế rằng bọt có màu sẫm hơn nhiều so với phần khoảng trống bên trong bình thường của lọ trên mức dịch yến

Trong vùng ROI đã tạo, tính toán số liệu thống kê cơ bản về pixel hình ảnh trong ROI này và kiểm tra xem số liệu này có nằm trong phạm vi đã xác định hay không Số liệu thống kê được sử dụng là giá trị trung bình và giá trị độ lệch chuẩn của các giá trị pixel

Trên hình 4 32, 4 33, xác định ROI ở vị trí hình ảnh mà tại đó sự hiện diện của đối tượng bọt sẽ được kiểm tra ROI được tạo dựa trên điểm mức dịch yến đã tính toán trước đó

Cạnh đáy của ROI được kết nối với điểm mức chất lỏng (điểm này ở trung điểm của cạnh) Đặt chiều rộng và chiều cao lần lượt là 250 và 100 pixel

Hình 4 23: Vùng kiểm tra bọt tại điểm thứ 1, giá trị pixel trung bình trong ROI:

78.2, độ lệch chuẩn của giá trị pixel trong ROI: 44.3

Hình 4 24: Vùng kiểm tra bọt tại điểm thứ 1, giá trị pixel trung bình trong ROI:

97.5, độ lệch chuẩn của giá trị pixel trong ROI: 60.3

Sau đó, tính các giá trị pixel trung bình và độ lệch chuẩn của giá trị pixel trong vùng ROI Với 2 thông số này, xác định giá trị thấp nhất có thể chấp nhận được đối với giá trị pixel trung bình, giá trị cao nhất được chấp nhận cho giá trị pixel trung bình, giá trị thấp nhất có thể chấp nhận được đối với độ lệch chuẩn của giá trị pixel, giá trị cao nhất có thể chấp nhận được đối với độ lệch chuẩn của giá trị pixel, để tạo ra khoảng giá trị phù hợp cho vùng có bọt

Vùng thứ 1: Giá trị pixel trung bình trong ROI: 78.2, độ lệch chuẩn của giá trị pixel trong ROI: 44.3

Vùng thứ 2: giá trị pixel trung bình trong ROI: 97.5, độ lệch chuẩn của giá trị pixel trong ROI: 60.3

Chọn giá trị ngưỡng phát hiện bọt:

Phát hiện bọt được thực hiện trên ảnh mẫu với giá trị cường độ tối thiếu = 90, cường độ tối đa là 120, độ lệch chuẩn tối thiểu là 60, độ lệch chuẩn tối đa là 100

Thử nghiệm giá trị thống kê trên lọ yến có dung dịch màu đục:

Hình 4 34, 4 35 thử nghiệm tính giá trị thống kê của vùng kiểm tra đi qua bề mặt dịch chiết và có điều kiện vùng này đi qua một phần dịch chiết và không khí

Hình 4 36, 4 37 cũng chọn vùng kiểm tra bao gồm một phần dịch chiết và không khí được chụp trong điều kiện che sáng từ môi trường để giảm đi nhiễu

Hình 4 25: Vùng ROI lấy giá trị thống kê trên lọ yến không có bọt

 Giá trị pixel trung bình trong ROI: 115.4

 Độ lệch chuẩn của giá trị pixel trong ROI: 46.2

Hình 4 26: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt

 Giá trị pixel trung bình trong ROI: 126.9

 Độ lệch chuẩn của giá trị pixel trong ROI: 45.1

Hình 4 27: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt

 Giá trị pixel trung bình trong ROI: 187.43

 Độ lệch chuẩn của giá trị pixel trong ROI: 34.88

Hình 4 28: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt

 Giá trị pixel trung bình trong ROI: 192.76

 Độ lệch chuẩn của giá trị pixel trong ROI: 37.41

Kết quả định vị trên hai lọ yến dính liền nhau

Hình ảnh 4 38 thử nghiệm là 2 lọ yến đặt liên tiếp (mô tả trường hợp có hai lọ yến chạy trên băng tải bị dính nhau) Có thể điều chỉnh cho số lượng lọ yến tăng lên Vị trí của các lọ có thể thay đổi so với máy chụp ảnh cũng như các lọ khác

Hình 4 29: Hình ảnh lấy mẫu của 2 lọ yến

Hình 4 30: Đồ thị giá trị cường độ của vùng kiểm tra hai lọ yến

Hình 4 31: Đồ thị áp dụng toán tử Gaussian (=5) cho hai lọ yến Hình 4 30 và 4 31 thể hiện giá trị cường độ sáng rút ra từ đường lấy mẫu và áp dụng toán tử Gaussian với =5 để giảm nhiễu

Hình 4 32: Đồ thị giao điểm của đạo hàm và đường ngưỡng tìm cực trị

Hình 4 33: Đồ thị các điểm cực trị còn giữ lại sau khi lọc qua ngưỡng

Trên hình 4 32, nếu chọn ngưỡng y=3 và y=-3, 11 đỉnh cực trị được tìm thấy, trong đó có 7 đỉnh được tạo ra là do nhiễu Còn lại 4 đỉnh là nơi chuyển giao giữa 2 phần nắp lọ và nền

Qua thử nghiệm bằng cách rút ra các tọa độ điểm cực trị thu được trên hình 4

32, thử nghiệm và chọn thông số khoảng cách tối thiểu được là 1090, và khoảng cách tối đa được là 1150, giá trị cực trị còn giữ lại thu được trên hình 4 33