Phát hiện và nhận dạng khuyết điểm trên vỏ trái xoài

Nghiên cứu này đề xuất một giải thuật xử lý ảnh kết hợp với máy học để phát hiện và nhận dạng khuyết điểm trên bề mặt vỏ trái xoài. Thuật toán bao gồm các bước chính: tách vùng ảnh chứa trái xoài ra khỏi nền và trích lấy vùng vỏ khuyết điểm từ vùng trái sau khi cải thiện độ tương phản của vùng trái từ ảnh đầu vào.

Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX “Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9)”; Cần Thơ, ngày 4-5/8/2016 DOI: 10.15625/vap.2016.00070 PHÁT HIỆN VÀ NHẬN DẠNG KHUYẾT ĐIỂM TRÊN VỎ TRÁI XOÀI Trương Quốc Bảo1, Nguyễn Văn Vững2, Trương Quốc Định3 Khoa Công nghệ, Trường Đại học Cần Thơ, Việt Nam Trung tâm Giáo dục thường xuyên An Giang, Tỉnh An Giang, Việt Nam Khoa Công nghệ thông Tin truyền Thông, Trường Đại học Cần Thơ, Việt Nam tqbao@ctu.edu.vn, nguyenvanvung@gmail.com, tqdinh@cit.ctu.edu.vn TÓM TẮT— Nghiên cứu đề xuất giải thuật xử lý ảnh kết hợp với máy học để phát nhận dạng khuyết điểm bề mặt vỏ trái xồi Thuật tốn bao gồm bước chính: tách vùng ảnh chứa trái xồi khỏi trích lấy vùng vỏ khuyết điểm từ vùng trái sau cải thiện độ tương phản vùng trái từ ảnh đầu vào Tiếp theo, từ vùng vỏ chứa khuyết điểm, sử dụng giải thuật duyệt lân cận ảnh vùng trái, lọc kích thước, gán nhãn để chọn vùng ứng viên vỏ trái xồi vùng khuyết điểm Sau cùng, mạng nơron xây dựng để nhận dạng phân loại khuyết điểm vỏ trái xoài Kết thực nghiệm tiến hành tập liệu 219 ảnh tự tạo với 1595 vùng ứng viên cần nhận dạng cho độ xác đạt 92.79% thời gian nhận dạng 7s cho ảnh xoài khẳng định tính hiệu giải thuật đề nghị Từ khóa— Khuyết điểm vỏ trái, phân đoạn ảnh, nhận dạng mẫu, trái xoài, mạng nơron I GIỚI THIỆU Ở nông trại ăn quả, việc thu hoạch phân loại trái dựa khuyết điểm bên ngồi vỏ cơng việc khơng đơn giản, tốn nhiều chi phí nhân cơng lẫn thời gian Điều trở thành vấn đề nhà sản xuất nông nghiệp với sẵn có khơng chắn lực lượng lao động nơng nghiệp chi phí ngày tăng cơng đoạn sau thu hoạch Cơ giới hố hoạt động nông nghiệp phân loại trái dựa chất lượng trái sau thu hoạch giải tình trạng khó xử thiếu hụt lao động tăng hiệu sản xuất Cho nên, nhiều năm qua, giới quốc gia có công nghiệp ăn trái công nghiệp phát triển cao việc phân loại khuyết điểm trái có nhiều nghiên cứu đạt thành cơng định Hệ thống tự động hóa dùng để thay người thực công việc phân loại trái cách hiệu Hệ thống phát nhận dạng khuyết điểm bên vỏ sử dụng kỹ thuật xử lý ảnh nhận dạng bước tiền xử lý quan trọng việc xác định xác bệnh gây hại phân loại chất lượng trái để có cách khắc phục cho vụ mùa sau Các hệ thống phát triển ứng dụng ngành nông nghiệp tự động hóa, thơng minh số quốc gia phát triển giới với nhiều cơng trình nghiên cứu liên quan tới lĩnh vực loại khác phổ biến táo, quýt, cà chua Tuy nhiên, hầu hết giới hạn việc phát khuyết điểm [1-3] phân loại tốt hay có khuyết điểm [4] mà khơng nhận dạng đầy đủ loại khuyết điểm cụ thể Riêng Việt Nam, nghiên cứu liên quan đến lĩnh vực hạn chế Bài báo đề xuất giải thuật để phát nhận dạng khiếm khuyết vỏ trái xoài sử dụng kỹ thuật phân đoạn ảnh duyệt vùng liên thông để tách ảnh trái xoài khỏi phát vùng ứng viên chứa khuyết điểm Tiếp theo, vùng ứng viên phân tích nhằm rút trích đặc trưng ảnh phân loại để nhận dạng khuyết điểm sử dụng mạng nơron Quy trình xử lý tổng quát phương pháp trình bày Hình Mục viết mô tả chi tiết nội dung giải thuật xử lý ảnh nhận dạng để phát phân loại khuyết điểm bề mặt vỏ trái xoài Các kết thực nghiệm thảo luận trình bày mục III Kết luận định hướng nghiên cứu đưa mục IV báo Ảnh đầu vào Lọc bỏ để lấy vùng trái Tách vùng vỏ khuyết điểm từ vùng trái Xác định vùng ứng viên Nhận dạng khuyết điểm từ vùng ứng viên Ảnh kết nhận dạng Hình Quy trình xử lý tổng quát phương pháp đề nghị II NỘI DUNG NGHIÊN CỨU Trái xồi có hình dạng thn dài, trái chưa chín vỏ có màu đặc trưng xanh chín vỏ có màu đặc trưng vàng nhạt Vỏ trái xồi chứa nhiều khuyết điểm trùng gây hại, bệnh sẹo tự nhiên va đập với cành thân Khuyết điểm vỏ trái xồi có màu sắc khác với màu đặc trưng vỏ Khuyết điểm chủ yếu vỏ trái xoài là: da cám nám, đốm nâu nâu đen, thâm đen, sẹo Hình trình bày số dạng khiếm khuyết thường gặp vỏ trái xoài xét đến nghiên cứu Trương Quốc Bảo, Nguyễn Văn Vững, Trương Quốc Định 567 Hình Một số dạng khiếm khuyết vỏ trái xoài A Lọc bỏ để lấy vùng trái từ ảnh đầu vào Thuật toán phân đoạn ảnh OTSU Otsu đưa ý tưởng cho việc tính ngưỡng T cách tự động dựa vào giá trị mức xám điểm ảnh để thay cho việc sử dụng ngưỡng cố định toán phân đoạn ảnh dựa ngưỡng mức xám [5] Nội dung phương pháp mô tả sau: Đầu tiên, chuyển ảnh đầu vào ảnh mức xám thống kê số lượng mức xám, giả sử có L (0  L  255) mức xám ảnh, xét hai tập hợp C1 C2 (đối tượng nền) với ngưỡng T, ta có C1 = {0,1,2,…,T-1}, C2= {T, T+1,…, L-1}, gọi tổng số lượng pixels N, h[i] số lượng pixels mức xám thứ i (0  i  255) xác suất xuất mức xám thứ i: pi  h[i] Từ tính ngưỡng tối ưu T* theo cơng thức (1) sau: N   T *  Arg Max  B2 (T ) 0T  L (1) Với  B2 (T ) xác định theo công thức từ (2) đến (6) sau: + Phương sai:  B2 (T )  1 (T )2 (T ) (T )  1 (T ) (2) T 1 + Xác suất xuất C1:  (T )  P   p 1 i (3) i 0 L 1 + Xác suất xuất C2:  (T )  P   p   P 2 i (4) i T T 1 T 1 i 0 i 0 + Trung bình mức xám C1: 1 (T )   iP (i / C1 )   ip i / 1 (T ) + Trung bình mức xám C2:  (T )  L 1 L 1  iP(i / C )   ip /  (T ) i T (5) i T i (6) Một ví dụ minh họa cho kỹ thuật phân đoạn ảnh theo phương pháp OTSU thể Hình Hình Kết phân đoạn ảnh áp dụng thuật toán OTSU Thuật toán phân đoạn ảnh Valley-Emphasis Phương pháp Otsu đạt kết tốt tổ chức đồ phân phối thành dạng bi-modal, trường hợp tổ chức đồ có dạng khác phương pháp Otsu cho kết không tốt Phương pháp Valley-Emphasis [6] phiên cải tiến OTSU khắc phục khuyết điểm cho kết tốt Ngưỡng tối ưu phương pháp Valley-Emphasis xác định công thức (7):   Ngưỡng thích hợp: T *  Arg Max (1  pT ) B2 (T ) 0T  L (7) PHÁT HIỆN VÀ NHẬN DẠNG KHUYẾT ĐIỂM TRÊN VỎ TRÁI XOÀI 568 với pT  h[T ] N Một ví dụ minh họa cho kết phân đoạn thuật toán Valley-Emphasis trình bày Hình Trong nghiên cứu này, chúng tơi sử dụng thuật tốn Valley-Emphasis cho mục đích tách vùng trái xoài khỏi để tiến hành bước xử lý Hình Kết phân đoạn ảnh áp dụng thuật toán Valley-Emphasis B Tách lấy vùng vỏ chứa khuyết điểm từ vùng ảnh trái xoài Cải thiện độ tương phản ảnh lọc Sau lọc bỏ ảnh nhận ảnh mặt nạ gồm màu: màu trắng (mức xám 255) vùng trái màu đen (mức xám 0) vùng nền, vùng trái chứa vùng vỏ tốt vùng vỏ chứa khuyết điểm Chúng ta tiến hành áp ngược ảnh phân đoạn ảnh gốc để trích vùng ảnh chứa xồi Từ ảnh kết tiến hành cải thiện độ tương phản ảnh kết sau lọc phép biến đổi tuyến tính [7] ta kết Hình Hình Kết cải thiện độ tương phản ảnh xám sau lọc Tách vùng vỏ chứa khuyết điểm Do đặc tính màu sắc nên màu xanh vàng xanh đặc trưng trái xoài nên ảnh xám kênh Green làm rõ vùng vỏ chứa khuyết điểm vùng vỏ tốt kênh màu khác không gian màu RGB Để tách lấy vùng chứa khuyết điểm ta tiến hành chuyển ảnh Hình ảnh mặt nạ vùng vỏ chứa khuyết điểm dựa ngưỡng động cách áp dụng thuật toán phân đoạn ảnh Valley-Emphasis lần ảnh mức xám kênh Green để xác định vùng vỏ chứa khuyết điểm Chúng gọi ảnh kết ảnh mặt nạ khuyết điểm Một kết minh họa trình bày Hình Hình Kết xác định vùng chứa khuyết điểm vỏ trái xoài Trương Quốc Bảo, Nguyễn Văn Vững, Trương Quốc Định 569 C Xác định vùng ứng viên chứa khuyết điểm Lọc kích thước gán nhãn cho vùng ứng viên Sau lọc lấy vùng vỏ chứa khuyết điểm từ vùng trái, nhận thấy số lượng vùng liên thông từ ảnh mặt nạ chứa khuyết điểm nhiều, nên chúng tơi xét vùng liên thơng có số pixel lớn 30 trở lên gọi vùng ứng viên Việc xác định vùng ứng viên thực phương pháp duyệt lân cận ảnh mặt nạ chứa khuyết điểm [8] Chúng tiến hành duyệt ảnh mặt nạ chứa khuyết điểm, xác định vùng liên thông gán nhãn cho vùng đồng thời lọc bỏ vùng có kích thước bé 30 pixels Tuy nhiên, số lượng vùng liên thông nhiều nên hệ thống nhiều thời gian xử lý cho công đoạn để xác định vùng ứng viên chứa khuyết điểm (Hình 7) Hình Kết xác định ảnh mặt nạ vùng ứng viên chứa khuyết điểm Trích vùng ứng viên chứa khuyết điểm từ ảnh gốc Sau xác định vùng ứng viên, ta tiến hành tách vùng ứng viên chứa khuyết điểm từ ảnh gốc (ảnh màu RGB đầu vào) theo hai bước sau (Hình 8): Hình Kết xác định vùng ứng viên chứa khuyết điểm ảnh gốc Bước 1: Xác định hai điểm chéo bao vùng ứng viên ảnh mặt nạ gán nhãn Bước 2: Dựa vào hai điểm chéo ảnh mặt nạ áp vào ảnh gốc để tạo ảnh ứng viên D Nhận dạng khuyết điểm Các loại khuyết điểm vỏ trái xoài Khuyết điểm trái xoài gồm loại: da cám nám, đốm nâu nâu đen, thâm đen sẹo Các loại khuyết điểm có đặc trưng hình dáng màu sắc kết cấu loại khuyết điểm khác Khuyết điểm da cám nám: Những vết nám sau đỏ chuyển sang da cám sần sùi bên ngồi vỏ có màu nâu vàng côn trùng gây nên Khuyết điểm đốm nâu nâu đen: Những vết đốm có màu nâu nâu đen, đốm có dạng hình tròn lõm sâu, da sần sùi hặc khối u nhơ lên Các đốm nâu nâu đen liên kết lại với Khuyết điểm thâm đen vỏ: Những vết thâm nhỏ màu đen sau vết thâm lớn dần có hình dáng trịn Khuyết điểm sẹo vỏ: Do tự nhiên làm cho trái va dập với cành thân tạo nên vết sẹo có hình dáng khác thường thon dài, lâu ngày để lại vết sẹo dài thâm đen Giai đoạn cuối cần thực sau trích lấy vùng ứng viên chứa khuyết điểm từ ảnh gốc tiến hành phân loại khuyết điểm từ vùng ứng viên để xác định xác có loại khuyết điểm vùng vỏ chứa khuyết điểm Chúng sử dụng giải thuật học mạng nơron nhân tạo với tham số đầu vào cho mạng đặc trưng màu sắc, hình dáng kết cấu ảnh để tiến hành học phân loại nhận dạng PHÁT HIỆN VÀ NHẬN DẠNG KHUYẾT ĐIỂM TRÊN VỎ TRÁI XỒI 570 Trích đặc trưng ảnh Các khuyết điểm vỏ trái xồi thường có đặc điểm hình dáng (shape) phân bố màu sắc cấu trúc khác Từ đặc điểm trên, sử dụng đặc trưng màu sắc hình dáng kết cấu để phân loại khuyết điểm vỏ trái xồi Qua q trình thực nghiệm nhận thấy đặc trưng ảnh màu sắc kênh HSV, đặc trưng hình dáng Humoment đặc trưng kết cấu Mean, Range, Variance,… phù hợp để nhận dạng khuyết điểm vỏ trái xoài 2.1 Đặc trưng màu sắc Ảnh đầu vào theo hệ màu RGB chuyển ảnh theo hệ màu HSV (HSI), phân hoạch không gian màu HSV thành khoảng (bin) với: 18 bins H, bins S, bins V Đếm số điểm ảnh có màu tương ứng với khoảng, đặc trưng màu sắc theo hệ màu HSV có 162 đặc trưng [2] 2.2 Đặc trưng hình dáng Để tính đặc trưng hình dáng, báo sử dụng đặc trưng moment bất biến Hu (Hu moment) gồm 16 đặc trưng sử dụng hàm công cụ OpenCV [9] 2.3 Đặc trưng kết cấu Ảnh đầu vào chuyển ảnh mức xám theo kênh Red, Green, Blue Ở ảnh mức xám thống kê số lượng mức xám, gọi giá trị mức xám nhỏ nhất, max giá trị mức xám lớn nhất, N tổng số lượng pixel, h[i] tổng số lượng pixel mức xám thứ i Tính đặc trưng thơng số kết cấu theo công thức (8)-(12) sau [1]: Mean  Range  max N  i.h[i] (8) max 255 (9) i  Variance  max  (i  Mean) h[i] N i  (10) Skewness  max  (i  Mean) h[i] N i  (11) Kurtosis  N max  (i  Mean) (12) h[i] i  Xây dựng tập sở liệu huấn luyện Từ tập ảnh mẫu trái xoài ta xác định ảnh ứng viên, sau chuẩn hóa ảnh ứng viên kích thước 20x20 trích 193 đặc trưng màu sắc (162 đặc trưng), hình dáng (16 đặc trưng) kết cấu (15 đặc trưng) đánh nhãn loại khuyết điểm để xây dựng tập liệu loại khuyết điểm Ví dụ với ảnh "hinh 001.jpg" gồm vùng ảnh khuyết điểm ứng viên, vùng ảnh khuyết điểm ứng viên thứ ảnh gốc bao biên, tách gán nhãn đốm nâu nâu đen, tương tự gán nhãn cho vùng cịn lại, sau trích đặc trưng lưu vào tập tin liệu loại khuyết điểm minh họa Bảng Bảng Lưu trữ thông tin tập tin liệu phân loại khuyết điểm STT ảnh Hinh 001 Hinh 002 Hinh 003 … Đặc trưng Color C1 C2 C3 … Đặc trưng Shape S1 S2 S3 … Đặc trưng Texture T1 T2 T3 … Loại khuyết điểm Da cám nám Đốm nâu nâu đen Thâm đen … Huấn luyện mạng nơron Bài toán phân lớp liệu phi tuyến gồm 193 lớp đầu vào tương ứng với 193 đặc trưng, lớp đầu tương ứng với loại khuyết điểm 98 nơron cho tầng ẩn Thông thường mạng nơron dùng tầng ẩn, số lượng nơron tầng ẩn thường chọn = (số Neuron tầng input + số nơron tầng output) [10] mơ hình mạng xây dựng Hình 9: Trương Quốc Bảo, Nguyễn Văn Vững, Trương Quốc Định 571 Hình Mạng nơron truyền thẳng lớp với 193 nơron đầu vào, 98 nơron tầng ẩn nơron đầu Để tăng độ xác huấn luyện nhận dạng, tách mạng nơon mạng riêng (mỗi mạng gồm 193 nơron đầu vào, 98 nơron tầng ẩn nơ-ron đầu để huấn luyện riêng cho mạng Mặc dù thời gian huấn luyện tăng lên lớn độ xác tăng lên đáng kể [10] Nhận dạng khuyết điểm Với ảnh trái cần nhận dạng khuyết điểm, trước tiên xác định ảnh ứng viên, sau chuẩn hóa ảnh ứng viên kích thước 20x20 Ở ảnh ứng viên trích 193 đặc trưng màu sắc, hình dáng kết cấu làm đầu vào cho mạng nơron lớp (193 inputs, 98 hiddens, ouput) để xác định loại khuyết điểm, đầu mạng khuyết điểm có giá trị lớn khuyết điểm vùng ứng viên thuộc loại Một kết nhận dạng hệ thống trình bày Hình 10 Hình 10 Kết thực hệ thống nhận dạng khuyết điểm vỏ trái xoài III KẾT QUẢ THỰC NGHIỆM Điều kiện thực nghiệm Để tiến hành thực nghiệm, tiến hành chụp ảnh sưu tập liệu ảnh trái xoài từ vườn xoài thuộc phạm vi tỉnh An Giang Ảnh chụp diện máy ảnh Sony Cybershot DSC-W310 với ống kính 12Mpx điều kiện ánh sáng ban ngày bình thường Ảnh chụp với khoảng cách 20cm đến 40cm tính từ máy ảnh đến trái xồi Thực nghiệm tiến hành máy tính Dual core 1,6GHZ, Ram 2GB, chạy hệ điều hành Windows chương trình Visual C++ 2008 mã nguồn mở OpenCV 2.1 Các ảnh thu tiến hành tiền xử lý dạng ảnh jpeg với độ phân giải 400x300 chia làm tập:      Tập 1: Ảnh không chứa khuyết điểm cần nhận dạng Tập 2: Ảnh chứa khuyết điểm cần nhận dạng Tập 3:Ảnh chứa khuyết điểm cần nhận dạng Tập 4: Ảnh chứa khuyết điểm cần nhận dạng Tập 5: Ảnh chứa khuyết điểm cần nhận dạng Kết thực nghiệm Tập liệu bao gồm 219 ảnh với 1595 ảnh vùng ảnh ứng viên xác định loại khuyết điểm Chúng tơi tiến hành tính tốn độ xác kiểm tra thời gian thực trung bình tập ảnh có bảng số liệu tổng hợp trình bày Bảng PHÁT HIỆN VÀ NHẬN DẠNG KHUYẾT ĐIỂM TRÊN VỎ TRÁI XOÀI 572 Bảng Thống kê kết nhận dạng hệ thống Tập ảnh Số lượng ảnh Số lượng vùng khuyết điểm cần nhận dạng Số lượng vùng nhận dạng Số vùng nhận dạng Số nhận dạng sai Độ xác (%) Thời gian nhận dạng trung bình (ms) Tập Tập Tập Tập Tập Tổng hợp 70 50 40 30 29 219 70 106 272 425 722 1595 70 106 272 425 722 1595 70 103 258 392 657 1480 14 33 65 115 100.00 97.17 94.85 92.24 91.0 92.79 2.436 2.871 3.332 4.675 6.572