PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN

Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX “Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9)”; Cần Thơ, ngày 4-5/8/2016 DOI: 10.15625/vap.2016.00073 PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN Trương Quốc Bảo1, Võ Thành Lâm2, Võ Văn Phúc3, Trương Quốc Định4 Khoa Công nghệ, Trường Đại học Cần Thơ, Việt Nam Khoa Điện, Trường Cao đẳng nghề An Giang, Tỉnh An Giang, Việt Nam Trung tâm Tin học Nam Việt, Thành phố Vĩnh Long, Tỉnh Vĩnh Long, Việt Nam Khoa Công nghệ thông tin Truyền thông, Trường Đại học Cần Thơ, Việt Nam tqbao@ctu.edu.vn, vothanhlamtcdnag@gmail.com, vphucvo@gmail.com, tqdinh@cit.ctu.edu.vn TÓM TẮT— Nghiên cứu đề xuất giải thuật xử lý ảnh kết hợp với máy học để phát nhận dạng khiếm khuyết bề mặt gạch men Đầu tiên, gạch tách khỏi tính tốn đặc trưng ảnh dựa histogram kết cấu bề mặt để nhận dạng loại mẫu gạch dùng mạng neural Tiếp theo, tiến hành trừ ảnh mẫu gạch gạch mẫu để nhận dạng lỗi sử dụng kỹ thuật xử lý hình thái Kết thực nghiệm tiến hành tập liệu 150 ảnh viên gạch thuộc 15 loại mẫu khác với tổng cộng 292 loại lỗi cần nhận dạng Kết nhận dạng hệ thống đạt 96.92% với 100% số gạch mẫu nhận dạng Thời gian nhận dạng trung bình khoảng 1s cho mẫu gạch khẳng định tính hiệu hệ thống đề nghị Từ khóa— Nhận dạng mẫu, mạng neural, trừ nền, khiếm khuyết bề mặt, gạch men I GIỚI THIỆU Sản xuất gạch men ốp lát Việt Nam số ngành cơng nghiệp vươn lên tầm cỡ khu vực giới Theo số liệu thống kê năm 2015 tổng công suất đạt tới 500 triệu m2/năm, đứng đầu Đông Nam Á thứ giới Sản phẩm gạch men không tiêu thụ nước mà xuất nước Việt Nam nhà xuất gạch ốp lát top 10 giới Hiện tại, khoảng 15% sản lượng Việt Nam xuất nước giới [1] Nghiên cứu phương pháp kỹ thuật cho việc kiểm tra đánh giá lỗi bề mặt sản xuất theo dây chuyền tự động xây dựng hệ thống phát nhận dạng lỗi bề mặt sản phẩm nói chung gạch men nói riêng vấn đề quan tâm ngành công nghiệp nhiều nước Tuy nhiên, chưa có cơng bố hồn chỉnh vấn đề Các nghiên cứu dừng lại đề xuất thuật toán phân đoạn ảnh để phát vùng chứa khuyết điểm bề mặt [2] hay phát sai lệch độ dày, mỏng, độ cong vênh biên viên gạch [3] Một số hệ thống thực nghiệm đơn giản nhận dạng gạch có lỗi hay khơng lỗi [4] phân loại khuyết điểm với mẫu lỗi xử lý trước [5] Phần lớn nghiên cứu có khuyết điểm lớn khơng có chức nhận dạng gạch mẫu nên hệ thống khơng có tính tổng qt cao xét số mẫu gạch với hoa văn đơn giản, đồng nhất, loại gạch đa họa tiết hay bề mặt có họa tiết phức tạp với độ tương phản cao độ sáng hay màu sắc chưa xét đến Riêng nước ta, nghiên cứu để áp dụng cho ứng dụng chưa phổ biến, chủ yếu phương pháp truyền thống thường thực người trực tiếp quan sát bề mặt sản phẩm, để đánh giá phân loại chất lượng cho sản phẩm gạch men vậy, nghiên cứu cần thiết có ý nghĩa thực tiễn Bài báo đề xuất giải thuật máy học xử lý ảnh để phát nhận dạng khuyết điểm bề mặt gạch men sử dụng kỹ thuật nhận dạng gạch mẫu dựa mạng nơ-ron với đặc trưng thơng tin hình học kết hợp với đặc trưng histogram kết cấu ảnh Tiếp theo, lỗi khuyết điểm bề mặt gạch men xác định kỹ thuật phân đoạn ảnh, trừ xử lý hình thái Quy trình xử lý tổng quát phương pháp trình bày hình Mục viết mô tả chi tiết nội dung phương pháp đề xuất Các kết thực nghiệm thảo luận trình bày mục III Kết luận định hướng nghiên cứu đưa mục IV báo Ảnh đầu vào Tiền xử lý Phân đoạn ảnh Rút trích đặc trưng Huấn luyện nhận dạng gạch mẫu Xác định lỗi gạch Ảnh kết nhận dạng Hình Quy trình xử lý tổng quát phương pháp đề nghị II NỘI DUNG NGHIÊN CỨU A Giới hạn phạm vi nghiên cứu Trong nghiên cứu này, chúng tơi xét tốn phát nhận dạng lỗi bề mặt gạch men ceramic loại gạch sản xuất tiêu thụ với sản lượng lớn Việt Nam Chúng xét 15 loại gạch mẫu có kích thước, màu sắc, hình dáng độ phức tạp khác họa tiết Hình ảnh minh họa cho loại gạch trình bày Hình Trương Quốc Bảo, Võ Thành Lâm, Võ Văn Phúc, Trương Quốc Định 591 Hình Các loại gạch mẫu sử dụng thực nghiệm hệ thống Các lỗi khiếm khuyết thử nghiệm cho hệ thống bao gồm sai mẫu, đốm trầy men gạch, bể hay mẻ đường biên gạch lỗi nứt gạch trình bày Hình Hình Các loại khiếm khuyết bề mặt gạch men xét hệ thống B Tiền xử lý Thu nhận ảnh mẫu gạch Gạch di chuyển băng tải đưa vào buồng chụp thu nhận ảnh camera Logitech HD Pro C920 Đây loại camera thu nhận ảnh với độ phân giải 15 Megapixels, có khả tự lấy nét bù sáng, tốc độ thu nhận ảnh tối đa 30 frame ảnh/s Tách mẫu gạch khỏi băng tải Ảnh đầu vào thu từ buồng chụp, ảnh mẫu gạch băng tải, để xử lý ảnh mầu gạch trước tiên cần tách ảnh khỏi băng tải Quá trình thực thơng qua bước sau:  Bước 1: Xác định giới hạn biên trái, phải ảnh đầu vào  Bước 2: Chuyển đổi ảnh sang ảnh xám, phân đoạn ảnh với ngưỡng động thuật toán OTSU [6]  Bước 3: Xác định vùng ảnh chứa viên gạch  Bước 4: Cắt ảnh gạch khỏi băng tải Kết minh họa cho cho trình xử lý tách ảnh viên gạch khỏi băng tải thể Hình 4a Hình 4b Hình a Ảnh viên gạch băng tải; b Ảnh viên gạch tách khỏi băng tải c Vùng chứa ảnh viên gạch 592 PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN Tìm xương ảnh viên gạch Nhằm mục đích loại bỏ thơng tin dư thừa hình dạng ảnh mẫu gạch chúng tơi áp dụng thuật tốn làm mỏng nét [7] để tìm xương ảnh viên gạch (Hình 7a) Bước xử lý giúp giảm thiểu ảnh hưởng độ méo hoa văn ảnh viên gạch giúp tăng độ xác nhận dạng giảm thời gian tính tốn đặc trưng ảnh Làm mịn xương Xương ảnh mẫu gạch sau tìm cịn số trường hợp cần xử lý để xương mảnh đến điểm ảnh điểm lân cận xung quanh điểm xét Để làm mịn xương xương ảnh viên gạch sử dụng mặt nạ 3x3 để xác định giao điểm xương ảnh cần xóa hay giữ lại Nếu có trạng thái điểm đen Hình điểm tâm mặt nạ 3x3 xét chuyển thành điểm màu trắng điểm đen cịn lại vị trí mặt nạ Hình Các trường hợp cần xóa điểm tâm để làm mịn xương Tuy nhiên, xét toàn mẫu gạch cần ý đến giao điểm điểm giao 3, trường hợp thỏa mãn điều kiện xóa giao điểm làm đứt khúc đường cong tâm giao điểm cần giữ lại minh họa Hình Hình Các trường hợp cần giữ điểm tâm để không làm đứt khúc đường cong xương Xương mẫu gạch làm mịn để tính số đặc trưng liên quan đến xương: độ dài xương, xếp thứ tự điểm ảnh đường cong phân rã từ điểm đầu đến điểm cuối Từ đó, cực trị đường cong tìm đường cong có thứ tự Một ví dụ minh họa cho trình làm mịn xương trình bày Hình 7b Hình 7c Hình Kết tìm xương làm mịn xương xương ảnh mẫu gạch C Phân đoạn ảnh Dựa vào đặc tính vật lý ảnh, người ta có nhiều kỹ thuật phân đoạn ảnh: phân đoạn dựa theo miền liên thông, phân đoạn dựa vào biên (phân vùng biên), phân đoạn dựa lược đồ mức xám (histogram) Ngoài cịn có kỹ thuật phân vùng khác dựa vào biên độ, phân vùng dựa theo kết cấu Trong nghiên cứu này, sử dụng kỹ thuật phân đoạn ảnh dựa lược đồ mức xám histogram, phân đoạn dựa vùng liên thông, xét giao điểm biên để phân rã đường cong giao điểm, tách vùng liên thông để tách đường cong,… Phân đoạn dựa ngưỡng mức xám Phân đoạn ảnh lược đồ mức xám histogram theo khoảng mức xám Các nhóm mức độ sáng tối ảnh phân theo ngưỡng mức xám 30, 80, 128, 180, 240 trình bày [8] Phân đoạn dựa vùng liên thông Phân đoạn ảnh dựa tính liên thơng vùng ảnh gán nhãn cho vùng liên thơng Từ tính tốn đặc trưng liên thơng, bao đóng vùng ảnh Từ vùng liên thông tiến hành phân rã đường cong để tính tốn đặc trưng liên quan số lượng đường cong, số cực trị đường cong, chu vi, độ dài đường cong,… Một ví dụ minh họa cho việc phân đoạn ảnh dựa vùng liên thông phân rã ảnh thành đường cong minh họa Hình Trương Quốc Bảo, Võ Thành Lâm, Võ Văn Phúc, Trương Quốc Định 593 Hình Phân đoạn ảnh dựa vùng liên thơng phân rã đường cong D Trích đặc trưng ảnh Để biểu diễn ảnh gạch mẫu, đề xuất đặc trưng xây dựng cách kết hợp 24 đặc trưng kết hợp với 64 đặc trưng dựa histogram kết cấu bề mặt (được phân tích 04 ảnh gồm: Ảnh mức xám, ảnh kênh Red, Green Blue) Các đặc trưng Sau tiến hành thao tác tiền xử lý phân đoạn ảnh tiến hành rút trích 24 đặc trưng từ ảnh kết gạch mẫu Tên cơng thức tính tốn 24 đặc trưng liệt kê Bảng Bảng Danh sách 24 đặc trưng STT Tên đặc trưng Cơng thức, giải thuật tính đặc trưng Ký hiệu tỉ lệ co giá trị Tỉ lệ chiều rộng chiều cao Tỉ lệ diện tích chu vi Số điểm cuối Tỉ lệ tổng số điểm ảnh màu đen diện tích Tỉ lệ độ dài xương làm mịn diện tích Số vùng liên thơng Số vùng bao đóng Số đường cong lớn 15 pixel Tổng số cực trị đường cong gạch mẫu w/h wh/2(h+w) Giải thuật đếm số điểm cuối SumA/(wh) DoDaiXuong/(wh) Giải thuật đếm vùng liên thơng Giải thuật đếm vùng bao đóng Giải thuật tìm đếm đường cong tl_wh tl_dt_cv/10 Gdcuoi tl_sumA_dt * 10 tl_xng_dt*100 sovunglienthong sovungbaodong SoDgCong Tìm cực trị đếm số cực trị SoCucTri 10 Tọa độ x1 trọng tâm T1 11 Tọa độ y1 trọng tâm T1 Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét x1/100 y1/100 PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN 594 STT Tên đặc trưng 12 Tọa độ x2 trọng tâm trái T2 13 Tọa độ y2 trọng tâm trái T2 14 Tọa độ x3 trọng tâm phải T3 15 Tọa độ y3 trọng tâm phải T3 16 Tọa độ x4 trọng tâm trái phía T4 17 Tọa độ y4 trọng tâm trái phía T4 18 Tọa độ x5 trọng tâm trái phía T5 19 Tọa độ y5 trọng tâm trái phía T5 20 Tọa độ x6 trọng tâm phải phía T6 21 Tọa độ y6 trọng tâm phải phía T6 22 Tọa độ x7 trọng tâm phải phía T7 23 Tọa độ y7 trọng tâm phải phía T7 24 Khoảng cách trung bình từ trọng tâm đến tâm hình học Cơng thức, giải thuật tính đặc trưng Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét Trung bình tọa độ x tất điểm phạm vi xét Trung bình tọa độ y tất điểm phạm vi xét Tính khoảng cách trung bình trọng tâm đến tâm Ký hiệu tỉ lệ co giá trị x2/100 y2/100 x3/100 y3/100 x4/100 y4/100 x5/100 y5/100 x6/100 y6/100 x7/100 y7/100 KCTB_tam/10 Đặc trưng kết cấu bề mặt 2.1 Định nghĩa kết cấu (texture) Kết cấu (texture) liên quan đến đặc điểm bề mặt vật thể (tự nhiên nhân tạo) có kích thước, hình dáng, mật độ, xếp, tỷ lệ thành phần vật thể Một kết cấu thường miêu tả mịn hay gồ ghề, mềm hay cứng, thơ hay bóng 2.2 Phân tích kết cấu Cách tiếp cận để phân tích kết cấu thường phân loại thành: cấu trúc (structural), thống kê (statistical), dựa sở mơ hình phương pháp biến đổi ảnh Có nhiều phương pháp thống kê khác sử dụng để phân tích kết cấu ảnh như: đặc trưng dựa lược đồ thứ tự (First-order histogram based) [9], đặc trưng dựa ma trận xuất đồng thời (Cooccurrence matrix) [9, 10], đặc trưng đa tỉ lệ (Multiscale) [9], ma trận khác biệt tông màu xám (Grey-Tone Difference Matrix (GTDM)) [9]… Để tính tốn hiệu đặc trưng theo màu sắc, độ đậm nhạt, họa tiết đa dạng ảnh gạch mẫu, chọn lựa phương pháp thứ để tính đặc trưng kết cấu dựa lược đồ mức xám áp dụng ảnh mức xám kênh Red, Green Blue gạch mẫu 2.3 Đặc trưng dựa lược đồ thứ tự (First-order histogram based features) Ta biểu diễn ảnh hàm f (x, y) với biến không gian x y, x = 0,1, , N-1 y = 0,1, , M-1 Trong đó: N, M số dòng số cột ảnh Hàm f (x, y) giá trị rời rạc i = 0,1, , G-1, G tổng số số mức cường độ hình ảnh, với ảnh mức xám ta có G=256 Biểu đồ biểu thị mức cường độ (histogram) biểu thị với mức cường độ số điểm ảnh có cường độ toàn ảnh: N 1 M 1 1, i  j h(i)      f x, y , i  ,  (i, j )   x 0 j 0 0, i  j (1) Bằng cách chia giá trị h(i) cho tổng số điểm ảnh có ảnh ta có mật độ xác suất xấp xỉ xuất cường độ p(i): p(i)  hi  , i  0,1, G  M *N (2) Hầu hết thông số tính được gọi mơ-men trung tâm (central moments) sở để tính đặc trưng kết cấu, đặc trưng tính phương trình sau: Trương Quốc Bảo, Võ Thành Lâm, Võ Văn Phúc, Trương Quốc Định 595 G 1 Mean:    ip i  (3) i 0 G 1 Variance:    i   2 pi  (4) i 0 G 1 Kurtosis:      i   4 pi   (5) i 0 G 1 Energy: E    pi  (6) i 0 G 1 Entropy: H   pi  log  pi  (7) i 0 Một số đặc trưng khác tính thêm từ biểu đồ biểu thị mức cường độ biểu đồ biểu thị mức phân phối là: giá trị lớn nhất, nhỏ nhất, trung vị, giá trị khoảng Các đặc trưng dựa histogram kết cấu bề mặt liệt kê chi tiết Bảng Bảng Thống kê đặc trưng dựa histogram kết cấu bề mặt Tên đặc trưng STT 10 11 12 13 14 15 16 Tỉ lệ tổng số điểm ảnh nhị phân threshold mức 30 tổng số điểm ảnh nhị phân mức 240 Tỉ lệ tổng số điểm ảnh nhị phân threshold mức 80 tổng số điểm ảnh nhị phân mức 240 Tỉ lệ tổng số điểm ảnh nhị phân threshold mức 128 tổng số điểm ảnh nhị phân mức 240 Tỉ lệ tổng số điểm ảnh nhị phân threshold mức 180 tổng số điểm ảnh nhị phân mức 240 Tính trung bình Mean cho kết cấu bề mặt ảnh dựa tỉ lệ phân phối xỉ mức xám Phương sai Độ nhọn, độ nhám Năng lượng Tính đồng Tỉ lệ phân phối lớn Tỉ lệ phân phối trung vị Tổng tỉ lệ phân phối khoảng đến 49 mảng tỉ lệ phân phối P[i]=H[i]/N, với N tổng số điểm ảnh, i=0 254 Tổng tỉ lệ phân phối khoảng 50 đến 99 mảng tỉ lệ phân phối P[i]=H[i]/N, với N tổng số điểm ảnh, i=0 254 Tổng tỉ lệ phân phối khoảng 100 đến 149 mảng tỉ lệ phân phối P[i]=H[i]/N, với N tổng số điểm ảnh, i=0 254 Tổng tỉ lệ phân phối khoảng 150 đến 199 mảng tỉ lệ phân phối P[i]=H[i]/N, với N tổng số điểm ảnh, i=0 254 Tổng tỉ lệ phân phối khoảng 200 đến 249 mảng tỉ lệ phân phối P[i]=H[i]/N, với N tổng số điểm ảnh, i=0 254 Cơng thức, giải thuật tính đặc trưng Ký hiệu tỉ lệ co giá trị L30/L240 tl30 L80/L240 tl80 L128/L240 tl128 L180/L240 tl180 Công thức (3) Mean/10 Công thức (4) Công thức (5) Công thức (6) Công thức (7) Max (P(i)) Median(P(i)) Variance/1000 Kurtosis Energy*1000 Entropy MaxP*100 MedianP*100 Sum(P[i]), i=0 49 r1*100 Sum(P[i]), i=50 99 r2*100 Sum(P[i]), i=100 149 r3*100 Sum(P[i]), i=150 199 r4*100 Sum(P[i]), i=200 249 r5*10 E Nhận dạng gạch mẫu Chúng xây dựng mạng Nơ-ron nhân tạo có 88 giá trị đầu vào, 250 Nơ-ron lớp ẩn Nơ-ron lớp đầu để nhận dạng loại mẫu gạch với liệu có 150 mẫu gạch thuộc 15 loại mẫu gạch khác Phụ thuộc vào tập liệu có mẫu gạch, ta có số thứ tự mã nhận dạng gạch mẫu Mã số nguyên N Ta có số Nơ-ron lớp đầu x thỏa điều kiện sau: X>=N Mỗi đầu mạng biểu diễn bit có trạng thái Chúng chọn số đầu mạng huấn luyện tổ hợp bits đầu mã nhận dạng gạch mẫu sở liệu Với bit đầu ra, hệ thống nhận dạng 7-1 =127 loại gạch mẫu khác Cơ sở liệu huấn luyện xếp ngẫu nhiên theo số thứ tự chia làm tập liệu gồm: tập huấn luyện, tập kiểm tra huấn luyện tập kiểm thử sau huấn luyện theo tỉ lệ 60%, 20%, 20% tổng số mẫu tin tập 596 PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN sở liệu huấn luyện, tập liệu độc lập với Kết huấn luyện mạng đạt kết xác hoàn toàn 100% khẳng định phù hợp tính hiệu đặc trưng ảnh cấu trúc mạng nơ-ron đề xuất F Nhận dạng lỗi bề mặt gạch men Lưu đồ tổng quát giải thuật tìm lỗi Sau nhận dạng gạch mẫu, hệ thống có ảnh gạch mẫu mẫu gạch cần nhận dạng lỗi Hình minh họa sơ đồ tổng quát trình tìm lỗi mẫu gạch: Đầu vào: Ảnh mẫu gạch ảnh gạch mẫu cần tìm lỗi Chuyển đổi ảnh ảnh mức xám Chuẩn hóa kích thước ảnh Tính góc lệch ảnh Quay ảnh gạch mẫu vị trí tương đồng họa tiết với ảnh mẫu gạch TH1: Tìm lỗi đốm màu, trầy, mẻ biên, nứt gạch TH2: Tìm lỗi đốm màu trắng, trầy sáng TH3: Tìm lỗi nứt gạch biên cho vết nứt mỏng Tổng hợp lỗi Hình Sơ đồ tổng quát trình tìm lỗi mẫu gạch Giải thuật cho trường hợp (TH1) tìm lỗi đốm, trầy, mẻ biên, nứt gạch Trong trường hợp giải thuật tính tốn ảnh xám ảnh mẫu gạch ảnh gạch mẫu cần kiểm tra, hai ảnh chuẩn hóa kích thước quay ảnh tương đồng vị trí họa tiết Xem ảnh mẫu gạch cần kiểm tra ảnh đối tượng cần xét (foreround image) có ảnh gạch mẫu (background image), đối tượng lỗi vùng ảnh đen trắng Giải thuật trình bày chi tiết Hình 10 6.1 Thực trừ mức xám ảnh gạch mẫu với ngưỡng p 6.2 Nhị phân hóa ảnh kết phép trừ 6.5 Giãn ảnh pixel 6.6.Tách đối tượng giải thuật đánh nhãn, xét đối tượng lỗi lớn 6.3 Loại vùng nhỏ co ảnh pixel 6.7 Phân loại lỗi 6.4 Loại vùng nhiễu vùng chứa đường thẳng mỏng Hình 10 Sơ đồ xử lý tìm lỗi đốm màu, trầy, mẻ biên, nứt gạch Giải thuật cho trường hợp (TH2) tìm lỗi đốm màu trắng, trầy sáng Thuật toán tương tự trường hợp lỗi dạng đốm trắng trầy sáng nên ta cần tiến hành lấy ảnh âm bảng ảnh xám đầu vào (ảnh mẫu gạch cần kiểm tra ảnh gạch mẫu) để làm bật đối tượng lỗi Các đối tượng lỗi không liên quan đến biên gạch Vì giải thuật không xét đối tượng thuộc biên ảnh Giải thuật trình bày chi tiết Hình 11 Trương Quốc Bảo, Võ Thành Lâm, Võ Văn Phúc, Trương Quốc Định 597 7.1 Lấy ảnh âm mức xám ảnh đầu vào 7.5 Giãn ảnh pixel 7.2 Trừ gạch mẫu 7.2 Nhị phân hóa ảnh kết phép trừ 7.6 Tách đối tượng đánh nhãn vùng liên thông 20 Loại đối tượng nhiễu biên 7.3 Loại vùng nhỏ co ảnh pixel 21 Phân loại lỗi cho đối tượng lỗi lớn lại 7.4 Loại vùng nhiễu vùng chứa đường thẳng mỏng Hình 11 Sơ đồ xử lý trình tìm lỗi đóm màu trắng, trầy sáng Giải thuật cho trường hợp (TH3) tìm lỗi nứt gạch biên cho vết nứt mỏng Thuật toán tương tự trường hợp Tuy nhiên, đối tượng lỗi nứt gạch đối tượng thuộc biên nên ta loại bỏ đối tượng khác không liên quan đến biên Giải thuật trình bày chi tiết Hình 12 8.1 Trừ mức xám ban đầu mẫu gạch 8.2 Nhị phân hóa ảnh kết phép trừ 8.3 Loại vùng nhiễu vùng chứa đường thẳng mỏng, vùng nhỏ 8.4 Tách đối tượng giải thuật đánh nhãn 8.5 Loại đối tượng không thuộc biên xác định vùng chứa lỗi nứt gạch 8.6 Phân loại lỗi cho đối tượng lỗi lớn cịn lại Hình 12 Sơ đồ tổng qt trình tìm lỗi nứt gạch biên III KẾT QUẢ THỰC NGHIỆM Điều kiện thực nghiệm Cơ sở liệu gạch mẫu bao gồm 15 loại mẫu, loại mẫu lấy mẫu 10 ảnh từ thiết bị thu ảnh, tạo tổng cộng 150 gạch mẫu Tất ảnh gạch mẫu lấy đặc trưng đánh nhãn kết đầu để phục vụ cho việc huấn luyện kiểm thử Các mẫu gạch cần kiểm tra chia thành tập con:    Tập bao gồm mẫu gạch khơng có lỗi cần nhận dạng Tập dùng cho mục đích nhận dạng gạch mẫu Tập bao gồm mẫu gạch có loại lỗi số loại khiếm khuyết cần nhận dạng Tập thứ i bao gồm mẫu gạch có i - loại lỗi số loại khiếm khuyết cần nhận dạng (i = 6) Kết thực nghiệm Kiểm thử hệ thống cách cho hệ thống nhận dạng lỗi khuyết điểm bề mặt viên gạch theo nhóm theo số lượng lỗi mẫu gạch cần kiểm tra để xác định lỗi, tính tốn thời gian thực hệ thống mẫu gạch loại gạch mẫu Dưới số minh họa kết thực nghiệm hệ thống trình bày Hình 13 598 PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN Hình 13 Minh họa số kết thực nghiệm hệ thống Trương Quốc Bảo, Võ Thành Lâm, Võ Văn Phúc, Trương Quốc Định 599 Ở đây, minh họa số gạch mẫu có lỗi kiểm tra với mẫu gạch khác (màu sắc, kích thước, hoa văn khác nhau) chọn ngẫu nhiên sở liệu để thấy tính tổng quát tiềm hệ thống đề nghị Thời gian nhận dạng trung bình 1s cho mẫu kiểm tra Hệ thống làm việc tốt loại gạch mẫu khác màu sắc, độ sáng tối phức tạp hoa văn Tuy nhiên, số trường hợp nhận dạng thiếu thừa lỗi ví dụ minh họa Hình 14 Hình 14 Minh họa số trường hợp nhận dạng thiếu thừa lỗi Các hạn chế giải sử dụng camera tốt với độ phân giải cao thiết kế, bố trí nguồn sáng buồng chụp tối ưu để nhận ảnh mẫu gạch sắc nét Đánh giá kết thực nghiệm Tổng hợp kết kiểm thử hệ thống trình bày bảng Bảng Tổng hợp kết kiểm thử hệ thống Số lượng lỗi gạch lỗi lỗi lỗi lỗi lỗi lỗi lỗi Tổng Tỷ lệ Số lượng ảnh mẫu 17 42 45 28 15 150 Nhận dạng mẫu gạch 17 42 45 28 15 150 Số lượng lỗi 42 90 84 60 10 292 Nhận dạng mẫu có lỗi Nhận dạng sai mẫu có lỗi (một phần sai hoàn toàn) Nhận dạng sai mẫu hoàn toàn 17 42 42 26 13 1 142 94.67% 0 2 5.33% 0 0 0 0 0% Số lượng lỗi nhận dạng Số lượng lỗi nhận dạng phần Số lượng lỗi nhận dạng thiếu 42 84 78 52 267 91.44% 0 16 5.48% 0 3 3.08% Số lỗi phát sinh ý muốn 15 0 27 8.46% Số lỗi sai hoàn toàn 0 0 0 0 0% Tổng số lỗi nhận dạng 42 87 82 57 283 96.92% Tổng số lỗi nhận dạng sai 0 3 3.08% Từ kết thống kê Bảng có số nhận xét, đánh giá hệ thống sau:  Nếu xét nhận dạng gạch mẫu (các mẫu có số lỗi 0) hệ thống nhận dạng xác 100% Kết cho thấy hệ thống nhận dạng gạch mẫu tuyệt đối xác đồng nghĩa với đặc trưng cấu trúc mạng nơ-ron huấn luyện đề xuất phù hợp với vấn đề nghiên cứu 600 PHÁT TRIỂN THUẬT TOÁN XỬ LÝ ẢNH VÀ MÁY HỌC ĐỂ NHẬN DẠNG KHIẾM KHUYẾT TRÊN BỀ MẶT GẠCH MEN   Nếu xét nhận dạng mẫu gạch có lỗi hay khơng có lỗi hệ thống nhận dạng xác hồn tồn 142 mẫu gạch đạt tỷ lệ 94.67%, có mẫu nhận dạng thừa thiếu lỗi khuyết điểm mẫu khơng có lỗi mà bị nhận dạng có lỗi Điều chứng tỏ hệ thống hoạt động phù hợp với thực tế Vì thực tế gạch khơng lỗi bị nhận dạng có lỗi khơng chấp nhận Ở xét vấn đề cần biết số lượng lỗi loại lỗi xác định dạng lỗi thường xảy để tư vấn cho cơng ty tiến hành kiểm tra cải tiến công đoạn cần thiết trình sản xuất gạch men Đồng thời xét tổng thể tổng số lượng lỗi cần nhận dạng 292 lỗi hệ thống nhận dạng tổng cộng 283 lỗi khuyết điểm đạt độ xác 96.92%, nhận dạng thiếu lỗi với sai số 8.03% Số lỗi dư thừa phát sinh trình nhận dạng 27 lỗi với sai số 8.46% Kết cho thấy hiệu nhận dạng hệ thống cao Từ kết phân tích nêu chúng tơi khẳng định nghiên cứu bước đầu đạt kết khả quan độ xác nhận dạng khoảng 94.67% xét số mẫu gạch cần nhận dạng lỗi khoảng 96.92% tính tồn lỗi sở liệu Thời gian nhận dạng mẫu gạch thay đổi khoảng từ 700ms đến 1200ms tùy theo độ phức tạp hoa văn mẫu gạch trung bình 1s cho lần nhận dạng IV KẾT LUẬN Một kỹ thuật hiệu để phát nhận dạng khiếm khuyết bề mặt sản phẩm yêu cầu cho hệ thống phân loại chất lượng sản phẩm gạch men sản xuất công nghiệp Nghiên cứu đề xuất giải thuật xử lý ảnh nhận dạng để nhận dạng loại gạch mẫu khuyết điểm phổ biến trình sản xuất gạch men Ceramic Trong nghiên cứu này, đề xuất đặc trưng ảnh cấu trúc mạng nơ-ron phù hợp cho toán nhận dạng gạch mẫu Đồng thời đề xuất thuật toán nhận dạng lỗi thông dụng bề mặt gạch men đốm, trầy men, mẻ cạnh, nứt gạch, Thực nghiệm tiến hành tập liệu 150 ảnh tự tạo với tổng cộng 292 vùng ứng với lỗi khuyết điểm bề mặt cần nhận dạng phân loại Độ xác hệ thống đạt 96.92% thời gian nhận trung bình 1s cho mẫu gạch cần kiểm tra khẳng định tính hiệu giải thuật đề nghị Kết đạt hứa hẹn cho việc áp dụng vào hệ thống kiểm tra chất lượng sản phẩm gạch men cách tự động Trong tương lai, thu thập số liệu ảnh lớn hơn, bổ sung thêm dạng lỗi khiếm khuyết khác bề mặt gạch men để hoàn thiện hệ thống Đồng thời, tiến hành phân tích, so sánh với số phương pháp phát nhận dạng khác nhằm thấy rõ ưu, khuyết điểm phương pháp đề xuất Nghiên cứu, cải tiến đặc trưng ảnh hiệu sử dụng phương pháp phân lớp mơ hình máy học vectơ hỗ trợ (SVM) để nâng cao hiệu xuất nhận dạng giảm thời gian thực hệ thống V LỜI CẢM ƠN Nội dung trình bày báo phần kết đề tài nghiên cứu cấp sở Trường Đại học Cần Thơ chủ trì Nhóm tác giả xin chân thành cám ơn Ban Giám hiệu Trường Đại học Cần Thơ hỗ trợ kinh phí cho đề tài nghiên cứu T2015-24 để chúng tơi có điều kiện hồn thành cơng bố nghiên cứu nhóm TÀI LIỆU THAM KHẢO [1] Tạp chí gốm sứ xây dựng số 89, quý I, 2016 [2] Hui-Fuang Ng *, “Automatic thresholding for defect detection”, Journal of Pattern Recognition Letters, Science Direct, vol.36, no.1, pp.1644-1649, 2006 [3] Ehsan Golkar, Ahmed Patel, Leila Yazdi, Anton Satria Prabuwono, “Ceramic Tile Border Defect Detection Algorithms in Automated Visual Inspection System”, Journal of American Science, vol.7, no.6, pp.542-550, 2011 [4] Roberto Márcio de Andrade, Alexandre Carlos Eduardo, “Methodology for automatic process of the fired ceramic tile's internal defect using IR images and artificial neural network”, Journal of the Brazilian Society of Mechanical Sciences and Engineering, vol XXXIII, no 1, pp.67-73, 2011 [5] S Bhuvaneswari, J Sabarathinam, Pondicherry, “Defect Analysis Using Artificial Neural Network, International journal of ntelligent Systems and Applications”, vol.5, no.1, pp.33-38, 2013 [6] Nobuyuki Otsu, “A Threshold Selection Method from Gray-Level Histograms”, IEEE Transactions on Systems, Man, and Cybernetics, vol.9, no.1, pp.62-66, 1979 [7] T Y Zhang and C Y Suen, “A Fast Parallel Algorithm for Thinning Digital Patterns”, Communications of the ACM, vol.27, no.3, pp.236-239, 1984 [8] Trương Quốc Bảo, Đào Thị Xuyên, Võ Văn Phúc, “Xây dựng tập đặc trưng cho toán nhận dạng chữ ký sử dụng mạng nơron nhân tạo”, Hội nghị toàn quốc lần thứ Cơ điện tử - VCM 2014, pp.115-122, 2014 Trương Quốc Bảo, Võ Thành Lâm, Võ Văn Phúc, Trương Quốc Định 601 [9] A Materka, M Strzelecki, “Texture Analysis Methods – A Review”, Technical University of Lodz, Institute of Electronics, COST B11 report, Brussels, 1998 [10] Babak Rezaei, Oscar E Ramos, “Scene Segmentation and Interpretation Image characterization - Texture analysis”, MSc in Computer Vision and Robotics Universitat de Girona, Spain 2010 FORMAT FOR PREPARATION OF PAPER FOR PUBLICATION IN THE PROCEEDING’S FAIR Truong Quoc Bao, Vo Thanh Lam, Vo Van Phuc, Truong Quoc Dinh ABSTRACT— In this paper, we propose the computer vision algorithms combined with machine learning technique to detect and recognize defects on the surface of Ceramic Tiles Fistly, the Ceramic Tiles will be extracted from background image and computed proposed features set based on histogram and texture of image surface to identify the Ceramic Tiles’ template using neural network Next, we take substraction between testing sample and corresponding template of tile image to recognize surface defects of Ceramic Tiles using morphology techniquies The experiment is performed on 150 our-self images data belongs to 15 different categories which has about 292 defects candidates need to identify The accuracy of our system is about 96.92% and 100% of Ceramic Tiles’ template are recognized correctly The average time recognition about 1s for an image of Ceramic Tiles’ has confirmed the effectiveness of the proposed algorithms Keywords— Pattern recognition, neural network, background substraction, surface defect, ceramic tiles  ... cho tr? ?nh làm mịn x? ?ơng tr? ?nh bày H? ?nh 7b H? ?nh 7c H? ?nh Kết tìm x? ?ơng làm mịn x? ?ơng x? ?ơng ? ?nh mẫu gạch C Phân đoạn ? ?nh Dựa vào đặc t? ?nh vật lý ? ?nh, người ta có nhiều kỹ thuật phân đoạn ? ?nh: phân... gạch khỏi băng tải thể H? ?nh 4a H? ?nh 4b H? ?nh a ? ?nh viên gạch băng tải; b ? ?nh viên gạch tách khỏi băng tải c Vùng chứa ? ?nh viên gạch 592 PHÁT TRIỂN THUẬT TOÁN X? ?? LÝ ? ?NH VÀ MÁY H? ??C ĐỂ NH? ??N DẠNG KHIẾM... biên gạch lỗi nứt gạch tr? ?nh bày H? ?nh H? ?nh Các loại khiếm khuyết bề mặt gạch men x? ?t h? ?? thống B Tiền x? ?? lý Thu nh? ??n ? ?nh mẫu gạch Gạch di chuyển băng tải đưa vào buồng chụp thu nh? ??n ? ?nh camera