Mô hình CNN nhẹ cho bài toán phân loại sâu bệnh trên lúa

Bài viết đề xuất một mô hình CNN nhẹ (lightweight) có khả năng phân loại sâu bệnh trên cây lúa. Mô hình sử dụng thiết kế SkipLayer Excitation (SLE) với số lượng tham số ít, độ phức tập tính toán thấp, rất phù hợp để triển khai trong thực tế trên các thiết bị nhúng với khả năng xử lý hạn chế.

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2021) Mơ hình CNN nhẹ cho toán phân loại sâu bệnh lúa Nguyễn Thanh Thiện Khoa Kỹ thuật Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP.HCM Email: thiennt@uit.edu.vn (Convolution Neural Network – CNN), để giải tốn phân chia thành số hướng tiếp cận Hướng tiếp cận dựa phương pháp transfer learning: sử dụng lại trọng số (tồn phần) mơ hình huấn luyện (pre-trained) tập liệu tổng quát với kích thước lớn (thường ImageNet), sau tiến hành tinh chỉnh cấu trúc mạng cuối huấn luyện lại cấu trúc mạng (nếu cần) Các thao tác tinh chỉnh cấu trúc mạng thường sử dụng gồm có thêm bớt số lớp CNN, thay đổi phân lớp – thường lớp kết nối đầy đủ (Fully Connected – FC) Hướng tiếp cận sử dụng transfer learning sử dụng phổ biến nhiều nghiên cứu toán Nhóm tác giả Shrivastava [1] sử dụng mơ hình AlexNet để trích xuất đặc trưng dùng Support Vector Machine (SVM) để phân lớp dựa đặc trưng Nghiên cứu Chen [2] kết hợp mơ hình DenseNet với khối Inception để tạo thành mơ hình DENS-INCEP Kathiresan đồng nghiệp [3] đề xuất mơ hình RiceDenseNet dựa kiến trúc mạng Densenet-169 cách thêm lớp Max pooling vào mơ hình gốc thêm lớp Average pooling, FC, Dropout, Batch Normalization vào phân lớp có Nhìn chung, hướng tiếp cận transfer learning dễ thực có hiệu suất cao (phần lớn đạt độ xác 90%) xây dựng dựa mơ hình chứng tỏ hiệu toán phân lớp ảnh tổng qt Tuy nhiên, hầu hết mơ hình có kích thước lớn, nhiều tham số sử dụng nhiều lớp CNN nên khó triển khai triển khai hoạt động hiệu môi trường ứng dụng thực tế (thường có thiết bị có khả xử lý hạn chế, hiệu thấp điện thoại di động, Raspberry Pi, …) Một hướng tiếp cận khác sử dụng CNN cho toán xây dựng kiến trúc mạng nhẹ cách sử dụng lớp CNN đồng thời kết hợp thêm số kỹ thuật xử lý khác cho hiệu tương đương tốt mơ hình mạng nhiều lớp Đây hướng tiếp cận có nhiều khả phát triển ứng dụng thực tế, mơ hình tạo theo hướng thường có chi phí tính tốn thấp, cấu trúc đơn giản nên thuận lợi để triển khai nhiều môi trường thiết bị phần cứng khác Nghiên cứu Yang [4] cho thấy hiệu hướng tiếp cận số toán tương tự Abstract— Việc phát sâu bệnh đóng vai trị quan trọng hoạt động nơng nghiệp nói chung sản xuất lúa gạo nói riêng Trong xu ứng dụng thành tựu khoa học kỹ thuật vào sản xuất nông nghiệp, hướng tới nông nghiệp công nghệ cao, tiên tiến, đại, làm để phát xác cách tự động sâu bệnh trở thành tốn có nhiều ý nghĩa thực tế Trong báo này, đề xuất mô hình CNN nhẹ (lightweight) có khả phân loại sâu bệnh lúa Mơ hình sử dụng thiết kế SkipLayer Excitation (SLE) với số lượng tham số ít, độ phức tập tính tốn thấp, phù hợp để triển khai thực tế thiết bị nhúng với khả xử lý hạn chế Kết thực nghiệm cho thấy mơ hình có hiệu tương đương mơ hình tương tự nhiều tập liệu khác Keywords- Phân loại ảnh, mơ hình CNN nhẹ, sâu bệnh lúa, Skip-Layer Excitation I GIỚI THIỆU Lúa lương thực quan trọng giới Sự phát triển lúa chịu tác động nhiều yếu tố sâu bệnh yếu tố tiêu cực gây nhiều ảnh hưởng nghiêm trọng Nếu không phát diệt trừ sớm, sâu bệnh làm chậm trình sinh trưởng lúa làm giảm suất chất lượng lúa thu hoạch Nếu trước sâu bệnh phát cách thủ công thơng qua quan sát mắt thường việc áp dụng số công nghệ kỹ thuật mới, việc phát sâu bệnh thực cách tự động với độ xác cao, góp phần làm giảm chi phí, tăng cường hiệu sản xuất nông nghiệp Một kỹ thuật thu hút nhiều ý đầu tư nghiên cứu thời gian gần kỹ thuật xử lý ảnh tảng trí tuệ nhân tạo, mà cụ thể mơ hình học sâu (deep learning) Các mơ hình cho thấy hiệu vượt trội so với kỹ thuật máy học truyền thống trước đây, đặc biệt toán phân loại ảnh, nên ngày sử dụng rộng rãi Các nghiên cứu áp dụng mô hình học sâu, mà phổ biến sử dụng mạng mang nơ-ron tích chập ISBN 978-604-80-5958-3 288 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Rahman [5] đề xuất mơ hình CNN đơn giản, gọi Simple CNN để phân loại sâu bệnh lúa Mơ hình sử dụng lớp tích chập lớp FC để phân lớp loại sâu bệnh khác với độ xác trung bình 94.33% Tuy nhiên, để đạt độ xác trên, việc huấn luyện mơ hình cần phải trải qua hai giai đoạn, giai đoạn đầu tiến hành liệu với số lớp lớn (chia lớp ban đầu thành nhiều lớp với tổng số lớp sử dụng 17 lớp), giai đoạn sau giữ nguyên trọng số hầu hết lớp, huấn luyện lại phân lớp (lớp FC cuối cùng) để chuyển việc phân loại số lớp ban đầu Đây hạn chế mơ hình, phải tốn thêm chi phí cho việc huấn luyện đồng thời giảm khả ứng dụng thực tế, khơng phải lúc thu thập liệu phân lớp theo nhiều cấp độ khác Hossain cộng [6] giới thiệu mơ hình CNN nhẹ khác gồm có lớp tích chập lớp FC (trong phần lại báo, chúng tơi gọi mơ hình Custom CNN) Mơ hình có khả xác định loại bệnh khác lúa với độ xác 97.82% Mặc dù có kiến trúc mạng đơn giản kích thước mơ hình (với khoảng 3.7 triệu tham số) lớn so với mơ hình khác MobileNetv2 (2.3 triệu tham số), SqueezeNet (0.7 triệu tham số), … Điều phần làm giảm khả ứng dụng thực tế mơ hình triển khai thiết bị nhúng hiệu thấp Nhận thấy tiềm ứng dụng mơ hình CNN nhẹ hạn chế mơ hình có, chúng tơi đề xuất xây dựng mơ hình CNN với số lượng tham số việc áp dụng thiết kế cấu trúc mạng nhẹ Mục tiêu mơ hình giảm chi phí tính tốn đảm bảo hiệu suất tương tự tốt mơ hình có Ngồi ra, mơ hình cần phải thiết kế cho huấn luyện thực thi mà khơng cần phải yêu cầu điều kiện đặc biệt liệu tài nguyên máy tính Các thiết kế CNN mà sử dụng báo này, khối SLE khối Down Sampling (DS), sử dụng việc xây dựng mơ hình sinh đối kháng (Generative Adversarial Network – GAN) nhẹ [7] tạo ảnh có độ phân giải cao với ảnh huấn luyện Khác với phần lớn mơ hình GAN địi hỏi nhiều tài ngun, tính chất nhỏ gọn mình, mơ hình (FastGAN) huấn luyện thực thi máy tính có tài nguyên hạn chế Từ thực tế này, nghiên cứu ứng dụng khối vào mơ hình CNN mới, để mơ hình đáp ứng mục tiêu thiết kế đề Mơ hình đề xuất có hiệu suất tương đương mơ hình loại thực nghiệm liệu khác kích thước số lượng tham số lại hơn, đồng nghĩa với việc đưa mơ hình vào ứng dụng thực tế cách hiệu phổ biến Phần lại báo tổ chức sau: phần II, chúng tơi mơ tả mơ hình đề xuất Trong phần III, đánh giá hiệu mô hình Cuối cùng, chúng tơi kết luận báo phần IV - II A Kiến trúc mơ hình Mơ hình CNN mà chúng tơi đề xuất xây dựng dựa khối SLE [7] khối DS [7] Kiến trúc mơ hình trình bày hình Tóm lại, báo này, chúng tơi có đóng góp sau: - Chúng tơi đề xuất mơ hình CNN nhẹ cho tốn phân loại ảnh sâu bệnh hại lúa dựa thiết kế mạng nhỏ gọn với chi phí tính tốn thấp ISBN 978-604-80-5958-3 MƠ HÌNH ĐỀ XUẤT Hình Kiến trúc mạng mơ hình đề xuất (Các giá trị 64 x 14 x 14, 128 x x 7, … thể kích thước đầu khối Conv: Convolution, s: stride, p: padding) 289 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Ảnh đầu vào ảnh RGB có kích thước 224 x 224 Sau qua tất khối SLE DS, ảnh đầu vào trở thành feature-map với kích thước 128 x x Qua lớp FC cuối cùng, feature-map phân loại vào lớp cho trước B Khối SLE Khối SLE tác giả [7] xây dựng dựa ý tưởng skip-connection sử dụng kiến trúc ResNet Thay sử dụng phép cộng đầu lớp tích chập khác khối residual ResNet, SLE sử dụng phép nhân phép nhân tốn chi phí tính toán, hai feature-map có kích thước x Nhờ thiết kế này, SLE kế thừa ưu điểm khối residual ResNet mà cịn góp phần làm giảm chi phí tính tốn thực thi – phù hợp với mục tiêu thiết kế mà đặt Đó lý mà chúng tơi sử dụng SLE cho mơ hình đề xuất Cấu trúc khối SLE biểu diễn hình C Khối DS Khối DS sử dụng với mục tiêu làm giảm kích thước feature-map Việc sử dụng DS cho thấy hiệu [7] nên sử dụng khối thay cho việc sử dụng lớp pooling thông thường Cấu trúc khối DS thể hình Hình Cấu trúc khối DS III THỰC NGHIỆM A Xây dựng huấn luyện mơ hình Mơ hình đề xuất cài đặt Python với thư viện PyTorch, NumPy, Scikit-learn, fvcore Chúng tơi huấn luyện mơ hình với thơng số sau: learning rate = 0.0001, optimizer Adam, batch size = 64 Để tăng cường liệu (data augmentation), trình huấn luyện, sử dụng kỹ thuật sau cách ngẫu nhiên với xác suất 0.5: lật (flip) ảnh theo chiều ngang chiều dọc, xoay ảnh (từ -15 o đến 15o) biến đổi phối cảnh (perspective) với tỷ lệ biến đổi 0.5 Mơ hình huấn luyện đánh giá máy tính sử dụng hệ điều hành Ubuntu 64-bit 18.04.2 LTS với cấu hình: Intel Core i7-4790 CPU@3.60 GHz, GB RAM GPU Nvidia GeForce GTX 1660 GB B Bộ liệu Chúng sử dụng hai liệu [5] [6] để tiến hành đánh giá hiệu mơ hình Bộ liệu [5] gồm có 1426 ảnh chia thành loại bệnh sâu hại, bao gồm: than vàng (false smut), rầy nâu (brown plant hopper), cháy bìa (bacterial leaf blight), đạo ôn cổ (neck blast), sâu đục thân (stemborer), sâu gai (hispa), khô vằn và/hoặc thối bẹ (sheath blight and/or sheath rot), đốm nâu (brown spot) khác (others – bao gồm loại: thân xanh bình thường, vàng bình thường, thân khơ) Hình Cấu trúc khối SLE ISBN 978-604-80-5958-3 290 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Hình Hình ảnh thực tế số loại sâu bệnh liệu thực nghiệm (từ trái qua phải: cháy bìa lá, đốm nâu, rầy nâu, sâu gai, than vàng) Số lượng tham số FLOPs Simple CNN [5] 889309 98576440 Custom CNN [6] 3710373 350763824 Mơ hình đề xuất 448673 79004544 Bảng Số lượng tham số số lượng phép tính dấu chấm động (FLOPs) mơ hình Bộ liệu [6] gồm 4199 ảnh loại bệnh: Đạo ơn (blast), cháy bìa lá, đốm nâu, khô vằn tungro Bộ liệu chia thành tập: train (2102 ảnh), validation (1257 ảnh) test (840 ảnh) Một số hình ảnh minh loại cho loại sâu bệnh từ hai liệu biểu diễn hình C Độ đo đánh giá Để đánh giá mức độ phức tạp mơ hình, chúng tơi sử dụng hai thơng số mơ hình số lượng tham số (number of parameters) số lượng phép tính dấu chấm động (floating-point operations – FLOPs) Số lượng tham số mơ hình tổng số lượng tham số tất lớp mơ hình Số lượng phép tính dấu chấm động tổng số phép tính dấu chấm động thực tất lớp mô hình Để đơn giản, chúng tơi xác định giá trị FLOPs mơ hình nhận liệu đầu vào ảnh đơn (batch size = 1) Để đánh giá hiệu phân loại tập thử nghiệm, chúng tơi sử dụng độ xác (accuracy) Độ xác tỷ lệ số mẫu phân lớp xác tổng số mẫu thử nghiệm Mơ hình Bộ liệu [5] Bộ liệu [6] Simple CNN [5] 87.59% 99.88% Custom CNN [6] 66.20% 97.82% (*) Mơ hình đề xuất 80.01% 99.88% Bảng Độ xác mơ hình (*: Kết cơng bố [6]) E Phân tích đánh giá kết Đầu tiên so sánh độ phức tạp mơ hình với hai thơng số trình bày Kết trình bày bảng So với hai mơ hình cịn lại, mơ hình đề xuất có số lượng tham số số lượng phép tính dấu chấm động hơn, chứng tỏ mơ hình huấn luyện thực thi nhanh cần tài nguyên để hoạt động Tiếp theo chúng tơi so sánh độ xác mơ hình hai liệu Các kết trình bày bảng Có thể nhận thấy, mơ hình đề xuất hiệu mơ hình Custom CNN hai liệu Mơ hình đề xuất có hiệu tương đương mơ hình Simple CNN liệu [6] liệu [5] So với liệu [6], tất mơ hình có suy giảm độ xác thực đánh giá liệu [5] Có chênh lệch phần liệu [5] phức tạp liệu [6] có sâu hại lẫn bệnh với số lượng lớp nhiều (9 lớp so với lớp liệu [6]), số lớp liệu [5] lại có kết hợp nhiều loại sâu bệnh tình trạng khác số lượng mẫu dùng để huấn luyện đánh giá lại nhiều (chỉ 1/3 so với liệu [6]) Mặt khác, kết cho thấy hạn chế mơ hình đề xuất, với số lượng tham số mơ hình khó nắm giữ nhiều thơng tin cần thiết để phân loại xác, trường hợp tập liệu huấn luyện có số lượng hạn chế có nhiều loại biến thể khác lớp liệu [5] nêu Do đó, làm để cân kích thước mơ hình độ xác mơ hình mang lại, hay nói cách khác, thiết kế mơ để vừa nhỏ gọn vừa đạt độ xác cao câu hỏi mở cần tiếp tục nghiên cứu giải D Quy trình thực nghiệm Mơ hình đề xuất thực nghiệm đánh giá so sánh kết với hai mô hình Simple CNN [5] Custom CNN [6] Chúng tơi tiến hành thực nghiệm theo điều kiện tác giả liệu thực hiện, cụ thể sau: - Với liệu [5], tiến hành thực nghiệm theo k-fold cross-validation với k = 10 Độ xác mơ hình xác định trung bình cộng độ xác tất fold - Trên liệu [6] thực huấn luyện tập train đánh giá mơ hình tập test Độ xác xác định tập test Với liệu, tất mơ hình đánh giá sau huấn luyện 50 epoch Chúng cài đặt lại mơ hình Simple CNN PyTorch để thực nghiệm theo quy trình Đối với mơ hình Custom CNN, sử dụng mã nguồn mà tác giả cung cấp thực nghiệm liệu [5] ISBN 978-604-80-5958-3 Mơ hình 291 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) IV KẾT LUẬN Trong báo này, đề xuất đề xuất mô hình CNN nhẹ cho tốn phân loại sâu bệnh lúa sử dụng thiết kế SLE Kết thực nghiệm bước đầu cho thấy có số lượng tham số mơ hình đạt hiệu tương đương mơ hình loại, cho thấy tiềm ứng dụng khả mở rộng mơ hình Q trình thực nghiệm cho thấy mơ hình có hạn chế định cần cải thiện Vì vậy, chúng tơi tiếp tục hồn thiện mơ hình, tiếp tục đánh giá cải tiến hiệu lẫn kích thước, để mơ hình đưa vào áp dụng thực tiễn nhiều môi trường thiết bị khác [2] [3] [4] [5] [6] LỜI CẢM ƠN Nghiên cứu thực Khoa Kỹ thuật Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP.HCM [7] TÀI LIỆU THAM KHẢO [1] V.K Shrivastava1, M.K Pradhan, S Minz, M P Thakur, “Rice Plant Disease Classification Using Transfer Learning of ISBN 978-604-80-5958-3 292 Deep Convolution Neural Network”, ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol 423, pp 631-635, 2019 J Chen, D Zhang, Y A Nanehkarana and D Li, “Detection of rice plant diseases based on deep transfer learning”, Journal of the Science of Food and Agriculture, vo1 100, pp 32463256, 2020 G Kathiresan, M Anirudh, M Nagharjun, R Karthik, “Disease detection in rice leaves using transfer learning techniques”, Journal of Physics: Conference Series, vol 1911, 2021 Y Li, J Nie, X Chao, “Do we really need deep CNN for plant diseases identification?”, Computers and Electronics in Agriculture, vol 178, 2020 C R Rahman, P S Arko, M E Ali, M A I Khan, S H Apon, F Nowrin, A Wasif, “Identification and recognition of rice diseases and pests using convolutional neural networks”, Biosystems Engineering, vol 194, pp 112-120, 2020 Hossain S.M.M et al (2020) Rice Leaf Diseases Recognition Using Convolutional Neural Networks In: Yang X., Wang CD., Islam M.S., Zhang Z (eds) Advanced Data Mining and Applications ADMA 2020 Lecture Notes in Computer Science, vol 12447 Springer, Cham https://doi.org/10.1007/978-3-030-65390-3_23 B Liu, Y Zhu, K Song, A Elgammal, “Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis,” ICLR, 2021  ... xuất mơ hình CNN đơn giản, gọi Simple CNN để phân loại sâu bệnh lúa Mơ hình sử dụng lớp tích chập lớp FC để phân lớp loại sâu bệnh khác với độ xác trung bình 94.33% Tuy nhiên, để đạt độ xác trên, ... xuất đề xuất mơ hình CNN nhẹ cho tốn phân loại sâu bệnh lúa sử dụng thiết kế SLE Kết thực nghiệm bước đầu cho thấy có số lượng tham số mơ hình đạt hiệu tương đương mơ hình loại, cho thấy tiềm ứng... [7] khối DS [7] Kiến trúc mơ hình trình bày hình Tóm lại, báo này, chúng tơi có đóng góp sau: - Chúng tơi đề xuất mơ hình CNN nhẹ cho toán phân loại ảnh sâu bệnh hại lúa dựa thiết kế mạng nhỏ gọn