Ứng dụng mô hình học sâu trong xác định các giai đoạn sinh trưởng của cây dưa lưới trồng trong nhà màng

Bài báo trình bày kết quả triển khai một kiến trúc tiên tiến và gọn nhẹ có tên là YOLOv5 trong việc nhận dạng tự động các giai đoạn sinh trưởng của cây dưa lưới trong quá trình sinh trưởng, phát triển từ những hình ảnh thu thập được của hệ thống mạng camera lắp đặt trong nhà màng.

Khoa học Tự nhiên DOI: 10.31276/VJST.63(11).01-05 Ứng dụng mơ hình học sâu xác định giai đoạn sinh trưởng dưa lưới trồng nhà màng Đặng Hoàng Anh Tuấn1*, Nguyễn Minh Thắng2 Viện Ứng dụng Công nghệ Viện Khoa học Công nghệ Việt Nam - Hàn Quốc Ngày nhận 11/8/2021; ngày chuyển phản biện 16/8/2021; ngày nhận phản biện 14/9/2021; ngày chấp nhận đăng 16/9/2021 Tóm tắt: Ngày có nhiều mơ hình học sâu (deep learning - DL) ứng dụng đời sống, xã hội phân tích dự đốn tài chính, giao thơng thơng minh, xe tự hành…, việc sử dụng hiệu công nghệ để hỗ trợ canh tác nơng nghiệp cịn hạn chế Bài báo trình bày kết triển khai kiến ​​trúc tiên tiến gọn nhẹ có tên YOLOv5 việc nhận dạng tự động giai đoạn sinh trưởng dưa lưới trình sinh trưởng, phát triển từ hình ảnh thu thập hệ thống mạng camera lắp đặt nhà màng Đề xuất nhận dạng hình ảnh đạt độ xác trung bình 96% điểm F1 việc xác định giai đoạn sinh trưởng quan trọng dưa lưới cách sử dụng liệu huấn luyện thử nghiệm hạn chế (2.818 ảnh dưa lưới) Kết sơ cho thấy, YOLOv5 giải pháp DL gọn nhẹ đầy hứa hẹn sau áp dụng kỹ thuật học chuyển giao (transfer learning) Hơn nữa, kiến trúc YOLOv5 thực thi tốt thiết bị có cấu hình thấp, điều mở hướng tiếp cận việc nhận dạng đối tượng khác theo thời gian thực, thực thi trực tiếp thiết bị smartphone, Jetson Nano, camera ip… Từ khóa: dưa lưới, mơ hình học sâu, nơng nghiệp thơng minh, thị giác máy tính, YOLOv5 Chỉ số phân loại: 1.2 Giới thiệu Để đảm bảo hiệu suất chất lượng đáp ứng yêu cầu ngày cao khắt khe sản phẩm nông nghiệp, người nông dân cần phải có kiến thức kinh nghiệm chuyên sâu chăm sóc trồng, vật ni Hiện nay, ngành nông nghiệp chuyển dịch từ quy mô hộ gia đình sang cơng ty tập đồn, với hình thức triển khai canh tác cánh đồng mẫu lớn; hệ thống nhà màng khép kín với diện tích lên đến vài chục ha; trang trại chăn nuôi với quy mơ lớn Điều đặt tốn ứng dụng công nghệ để quản lý, canh tác nông nghiệp hiệu quả, đáp ứng phát triển nêu Cơng nghệ trí tuệ nhân tạo (AI) thành phần quan trọng công nghệ nông nghiệp thông minh Công nghệ AI nghiên cứu ứng dụng nông nghiệp nhằm phát cảnh báo sớm sâu bệnh trồng, nhận định tình trạng hạn, độ phì đất qua việc phân tích ảnh vệ tinh, dự đoán sản lượng mùa vụ ngày quan tâm đầu tư Trên sở kết quả/nhận định AI, tham khảo để đưa định/chiến lược phát triển/phương án sản xuất phù hợp cho nông trại, hay cụ thể xem xét điều chỉnh chế độ canh tác cho trồng hay chăm sóc vật ni thời kỳ sinh trưởng Vài năm gần đây, có số cơng bố việc ứng dụng AI trồng trọt phát dấu hiệu sâu, * bệnh trồng bệnh lá, nhận diện số loại sâu, bọ gây hại… [1-4], với đối tượng dưa lưới thời điểm chưa thấy công bố Trong nghiên cứu này, chúng tơi trình bày kết ứng dụng công nghệ AI với việc áp dụng mơ hình DL phát phân loại giai đoạn sinh trưởng, phát triển dưa lưới từ hình ảnh thu thập hệ thống mạng camera lắp đặt nhà màng Mơ hình chúng tơi xây dựng cách sử dụng kiến trúc DL tiên tiến, gọn nhẹ có tên YOLOv5 (một kiến trúc DL tiên tiến lĩnh vực phát đối tượng, cần tài nguyên để tính toán so với kiến trúc khác giữ hiệu tốt [5, 6]) huấn luyện 2.818 hình ảnh dưa lưới thu thập gán nhãn [7] Dữ liệu phương pháp nghiên cứu Chuẩn bị xử lý tập liệu Nguồn liệu nghiên cứu chúng tơi thu thập từ mạng camera thiết lập nhà màng trồng dưa lưới Tổng số 2.818 hình ảnh dưa lưới với đủ giai đoạn sinh trưởng, phát triển thu thập, sau phân loại gán nhãn thủ công với hỗ trợ phần mềm VimageLabel (do nhóm nghiên cứu phát triển) Chú thích hình ảnh ví dụ hiển thị hình (khơng sử dụng hình Tác giả liên hệ: Email: tuandha1980@gmail.com 63(11) 11.2021 Khoa học Tự nhiên Application of deep learning model in recognition of growth stages of Cucumis melo L in greenhouse Hoang Anh Tuan Dang1*, Minh Thang Nguyen2 ảnh trống tập liệu này) Thông qua việc nghiên cứu tài liệu kinh nghiệm canh tác dưa lưới Trang trại Linh An (Giang Biên, Long Biên, Hà Nội), xác định giai đoạn sinh trưởng, phát triển quan trọng dưa lưới trồng nhà màng cần nhận biết gồm: ngày; thụ phấn; thụ phấn; 40 ngày 15 ngày; tạo Với việc nhận biết xác giai đoạn phát triển quan trọng giúp người trồng có chế độ canh tác phù hợp với nhu cầu sinh trưởng National Center for Technological Progress Vietnam - Korea Institute of Science and Technology Received 11 August 2021; accepted 16 September 2021 Abstract: Despite the increasing application of deep learning (DL) models in various socioeconomics such as financial analysis and forecast, intelligent transport, self-driving, disease diagnosis, the effective use of this technology to support agricultural cultivation is still limited This paper introduces the implementation of the lightest and state-of-the-art YOLOv5 architecture for automatic recognising of important growth stages of Cucumis melo L from the camera images collected in the greenhouse This image identification initiative achieved an average accuracy of 96% F1-score in the identification of the five growth stages of Cucumis melo L using a limited set of training and testing data (total 2,818 images of Cucumis melo L.) These preliminary results lead to the conclusion that the YOLOv5 object detection and classification model is a truly lightweight and promising DL solution after the adoption of the transfer learning technique Moreover, the YOLOv5 model can execute good performance on edge devices which may open up a new approach in different object detection and classification in real-time directly from a smartphone, Jetson Nano, IP camera… Hình Các giai đoạn nhận diện thành công 1: giai đoạn ngày; 2: giai đoạn thụ phấn; 3: giai đoạn thụ phấn; 4: giai đoạn 40 ngày 15 ngày; 5: giai đoạn tạo Tương đương với giai đoạn sinh trưởng, phát triển nêu trên, chúng tơi có lớp nhận diện tập liệu Hình ảnh tập liệu chúng tơi có nhiều kích cỡ khác phần nhiều độ phân giải 2.0 Megapixel Sự phân bố kích thước số lượng liệu thể hình Keywords: computer vision, Cucumis melo L., deep learning, smart agri, YOLOv5 Classification number: 1.2 Hình Sự phân bố liệu giai đoạn 63(11) 11.2021 Khoa học Tự nhiên Kết hình cho thấy, giai đoạn tạo (Tao Ngot) có số nhãn nhiều (2.124), tiếp đến ngày (7_days) 512, thụ phấn (GiaiDoanThuPhan) 321, 40 ngày 15 ngày (Cay_40_ngay_Qua_15_ngay) 164, thụ phấn (DaThuPhanThanhCong) 42 Ở có phân biệt liệu việc thu thập liệu giai đoạn có khó khăn khác nhau, giai đoạn thụ phấn thành công nhỏ, bị che nhiều cây, cộng với việc đặt camera xa so với kích thước nhãn giai đoạn Tiếp theo kích thước nhãn phân bổ với chiều rộng ảnh từ 0,001x1.920 đến 0,6x1.920 pixel chiều cao ảnh từ 0,001x1.080 đến 0,6x1.080 pixel Các nhãn tập trung chủ yếu kích thước nhỏ, chiều rộng từ 0,001x1.920 đến 0,2x1.920 pixel chiều cao từ 0,001x1.080 đến 0,3x1.080 pixel Chúng thực xác thực chéo thử nghiệm Đây trình tách tập liệu thành phần có kích thước tiến hành lần huấn luyện Đối với lần huấn luyện, 20% liệu sử dụng để xác thực 80% lại sử dụng để huấn luyện mạng Số vòng huấn luyện lựa chọn tăng dần, tỷ lệ phần trăm epoch khác phân bố bảng Bảng Tỷ lệ % epoch lần huấn luyện Các giai đoạn Epoch ngày (%) Tạo (%) Cây 40 Thụ ngày phấn 15 ngày (%) (%) Đã thụ phấn thành công (%) 100 93 90 85 45 35 200 98 95,5 92 88 86 300 99,8 97,6 98,3 96,3 88 Các hình ảnh mà chúng tơi thu thập có độ phân giải trung bình 1.920x1.080 pixel, với độ xác YOLOv5s6 thấp nhiều so với YOLOv5m6 YOLOv5m6 khó giải vấn đề nhận biết đối tượng nhỏ (vấn đề tiếng YOLO) [9] YOLOv5l6 YOLOv5x6 lại có params lớn, gấp 2,15 3,94 lần YOLOv5m6 nên việc huấn luyện mơ hình thời gian quan trọng khơng thực thi thiết bị có cấu hình thấp thiết bị Jetson AGX Xavier Developer Kit chúng tơi Vì vậy, chúng tơi chọn Pretrained Model YOLOv5m6 làm mơ hình huấn luyện nghiên cứu Huấn luyện mơ hình Việc q trình huấn luyện mơ hình điều chỉnh siêu tham số (hyper-parameter), điều giúp xác định tham số tối ưu cho tập liệu huấn luyện Tiếp theo, sử dụng hyper-parameter điều chỉnh để huấn luyện mơ hình việc kiểm tra mơ hình YOLOv5m6 huấn luyện Có khoảng 30 hyperparameter sử dụng YOLOv5m6 [10] Sau trình huấn luyện, hyper-parameter mơ hình hố hình Mỗi hyper-parameter chấm nhỏ thể phù hợp (trục y) tương ứng với giá trị (trục x); màu vàng cho biết mật độ hyperparameter tập trung cao hơn; phân bố chấm nhỏ theo chiều dọc cho thấy tham số bị vô hiệu không làm ảnh hưởng đến đối tượng qua Lý chọn mơ hình YOLOv5 cho nghiên cứu gồm: mạng tiên tiến lĩnh vực phát đối tượng nhanh; kiến trúc nhẹ, điều cho phép chúng tơi huấn luyện mơ hình cách sử dụng tài ngun tính tốn nhỏ chi phí thấp; kích thước nhỏ mơ hình cho phép ứng dụng với thiết bị di động (nhận diện người, đồ vật…) Hình cho thấy khả vượt trội mơ hình YOLOv5 so với mơ hình khác Hình So sánh mơ hình YOLOV5 EfficientDet [8] 63(11) 11.2021 Hình Sự phân bố loại hyper-parameter Khoa học Tự nhiên Hình Các thay đổi hồi quy, phân loại đối tượng hộp giới hạn q trình huấn luyện mơ hình Sử dụng mơ hình huấn luyện trước kỹ thuật phổ biến thị giác máy gọi học chuyển giao [11] Kỹ thuật giúp đẩy nhanh trình huấn luyện giữ cho tổng quát hóa mức cao Trong thí nghiệm, chúng tơi quan sát thấy rằng, số chu kỳ huấn luyện tối ưu 300, sau có thay đổi khơng đáng kể mơ hình Hình cho thấy hàm loss thay đổi trình huấn luyện, kết hiển thị phần tách để xác nhận chéo lần huấn luyện nhầm sang giai đoạn thụ phấn Cả giai đoạn có đối tượng nhận diện nhỏ số nhãn Do đó, giai đoạn thụ phấn thụ phấn thành công thường bị phát thiếu thực thi mơ hình chúng tơi (hình 6) Những khuyết điểm nêu khắc phục thí nghiệm tương lai Hàm YOLOv5 loss tổng hàm loss nhỏ hơn: loss hồi quy hộp giới hạn - hình phạt cho việc phát hộp neo sai, lỗi bình phương trung bình tính tốn dựa vị trí hộp dự đốn (x, y, h, w); loss phân loại - Entropy chéo tính toán để phân loại đối tượng; loss đối tượng - lỗi bình phương trung bình tính cho điểm đối tượng - độ tin cậy (ước tính hộp neo chứa đối tượng) Phần mềm sử dụng việc huấn luyện mơ hình Python 3.8.8, với PyTorch 1.7.1, CUDA 11.1 PyCharm Professional Tất lần lặp lại mơ hình AI mơ hình cuối huấn luyện cách sử dụng card hình GPU GTX 1650 Chúng tơi thực thử nghiệm Jetson AGX Xavier Developer Kit với phần mềm Linux cài đặt sẵn Thời gian huấn luyện cho lần (100 epochs) liệu huấn luyện (8,5 cho toàn trình xác nhận chéo) Hình Độ xác giai đoạn tập thử nghiệm Kết thảo luận Sau lần huấn luyện mơ hình với lượng liệu hạn chế (2.818 ảnh), kết cho thấy, trung bình 96% điểm F1 việc xác định giai đoạn sinh trưởng, phát triển quan trọng dưa lưới Mơ hình YOLOv5 khơng trì tỷ lệ phát cao, mà cịn đáp ứng yêu cầu phát thời gian thực xác nhanh chóng Các kết trình bày kết trung bình từ lần phân tách để thực trình xác nhận chéo Từ liệu nêu trên, thấy độ xác phát giai đoạn thụ phấn thành công thấp có số lượng nhãn hình dạng nhỏ so với đối tượng khác Hơn nữa, lớp thụ phấn thành cơng có điểm F1 thấp (0,88) ngồi phong phú giai đoạn thụ phấn thành cơng thấp, thời điểm cịn dễ bị 63(11) 11.2021 Hình Ma trận giai đoạn tập thử nghiệm Khoa học Tự nhiên Kết hình cho thấy, lớp days có độ tin cậy cao nhất, khơng phải đối tượng có số nhãn nhiều nhất, giai đoạn không bị ảnh hưởng yếu tố gần giống Giai đoạn tạo có số nhãn nhiều đối tượng có màu sắc kích thước gần giống với giai đoạn 40 ngày 15 ngày, nên giai đoạn tạo thường bị phân loại nhầm thành 40 ngày 15 ngày (5%) Các giai đoạn có kích thước tương tự nên lý cho kết sai số lượng mục tiêu thấp - giai đoạn tạo 40 ngày 15 ngày thường bị nhận thiếu hộp giới hạn che khuất Để giải vấn đề này, đề xuất nên thu thập thêm nhiều liệu, đặc biệt liệu bị che khuất, màu sắc gần giống Các ví dụ nhận dạng thiếu: chúng tơi nhận thấy nhược điểm mơ hình phân loại có vấn đề phổ biến là: đối tượng nhận dạng bị che khuất, nhận dạng xa, bị mờ trùng với màu Các ví dụ nhận dạng xác: giải pháp thử nghiệm hoạt động với mức độ xác dự kiến giai đoạn nhìn thấy phần hình ảnh Hình cho thấy phát phân loại xác giai đoạn tạo có khoảng 20% nhìn thấy khung hình Các ví dụ (hình 9) chứng minh rằng, mơ hình phát giai đoạn bị trộn lẫn với Kết luận Kết sơ đạt sử dụng lượng liệu huấn luyện hạn chế, trung bình 96,0% điểm F1 việc xác định giai đoạn sinh trưởng dưa lưới trồng nhà màng Những kết đầy hứa hẹn cho thấy tiềm lớn việc sử dụng kiến trúc học sâu YOLOv5 để huấn luyện mơ hình AI xác định giai đoạn sinh trưởng, phát triển dưa lưới nói riêng, yêu cầu nhận dạng khác nói chung tương lai Bộ liệu hình ảnh lớn cho phép khả nhận diện mơ hình ngày tốt hơn, nhanh xác Hơn nữa, kiến trúc YOLOv5 thử nghiệm thành công thiết bị Jetson AGX Xavier Developer Kit Jetson Nano, điều mở hướng tiếp cận việc nhận dạng đối tượng khác theo thời gian thực thực thi trực tiếp thiết bị smartphone, Jetson Nano, camera IP… LỜI CẢM ƠN Hình Mơ hình nhận dạng với giai đoạn tạo Chúng tơi xin trân trọng cảm ơn Viện Khoa học Công nghệ Việt Nam - Hàn Quốc, Viện Ứng dụng Công nghệ, Viện Nghiên cứu Rau Việt Nam, Trang trại Linh An giúp đỡ trình thực nghiên cứu TÀI LIỆU THAM KHẢO [1] https://www.hindawi.com/journals/ddns/2020/2479172/ [2] https://www.hindawi.com/journals/complexity/2021/6663442/ [3] https://www.hindawi.com/journals/jece/2021/9981437/ [4] https://www.hindawi.com/journals/complexity/2021/6683255/ [5] https://arxiv.org/abs/1506.01497 [6]vhttps://www.aaai.org/ocs/index.php/AAAI/AAAI17/paper/ viewFile/14806/14311 [7] https://tinyurl.com/anhdualuoi [8] https://github.com/ultralytics/yolov5/releases/tag/v5.0 [9] https://github.com/ultralytics/yolov5/issues/2009 [10] https://github.com/ultralytics/yolov5/issues/607 Hình Mơ hình nhận dạng với giai đoạn thụ phấn giai đoạn thụ phấn thành công 63(11) 11.2021 [11] https://github.com/ultralytics/yolov5/wiki/Train-Custom-Data ... camera… Hình Các giai đoạn nhận diện thành công 1: giai đoạn ngày; 2: giai đoạn thụ phấn; 3: giai đoạn thụ phấn; 4: giai đoạn 40 ngày 15 ngày; 5: giai đoạn tạo Tương đương với giai đoạn sinh trưởng, ... mức độ xác dự kiến giai đoạn nhìn thấy phần hình ảnh Hình cho thấy phát phân loại xác giai đoạn tạo có khoảng 20% nhìn thấy khung hình Các ví dụ (hình 9) chứng minh rằng, mơ hình phát giai đoạn. .. sử dụng lượng liệu huấn luyện hạn chế, trung bình 96,0% điểm F1 việc xác định giai đoạn sinh trưởng dưa lưới trồng nhà màng Những kết đầy hứa hẹn cho thấy tiềm lớn việc sử dụng kiến trúc học sâu