NGHIÊN cứu, cải TIẾN QUY TRÌNH PHÂN LOẠI cỏ sử DỤNG mô HÌNH học sâu TRÊN dữ LIỆU ẢNH PHỔ THU THẬP TRÊN THIẾT bị BAY KHÔNG NGƯỜI lái

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CÔNG NGHỆ NÔNG NGHIỆP CƠNG TRÌNH DỰ THI GIẢI THƯỞNG “SINH VIÊN NGHIÊN CỨU KHOA HỌC” NĂM HỌC 2021 – 2022 -o0o NGHIÊN CỨU, CẢI TIẾN QUY TRÌNH PHÂN LOẠI CỎ SỬ DỤNG MƠ HÌNH HỌC SÂU TRÊN DỮ LIỆU ẢNH PHỔ THU THẬP TRÊN THIẾT BỊ BAY KHÔNG NGƯỜI LÁI Sinh viên thực : Đào Đức Anh Nam/ Nữ: Nam Lớp: QH-2018-I/CQ-K2 Khoa: Điện tử - Viễn thông Sinh viên thực : Dương Kim Trung Lớp: QH-2019-I/CQ-AG Khoa: Công nghệ Nông nghiệp Người hướng dẫn: TS Phạm Minh Triển Hà Nội, 2022 Nam/ Nữ: Nam TÓM TẮT Thu thập phân tích liệu cỏ dại công việc quan trọng hệ thống nơng nghiệp thơng minh Nhưng đồng thời thách thức cần phải bao phủ diện tích lớn cánh đồng, trang trại giảm thiểu thất thơng tin thực vật cỏ dại Về vấn đề này, Máy bay Không người lái (UAV) cung cấp khả khảo sát tuyệt vời để thu hình ảnh tồn cánh đồng nơng nghiệp với độ phân giải không gian cao chi phí thấp Nghiên cứu đề cập đến vấn đề thực tế nhiệm vụ phân vùng cỏ dại cách sử dụng máy ảnh đa quang phổ gắn UAV Chúng tơi đề xuất quy trình làm việc lý tưởng thông số hệ thống cho UAV để tối đa hóa độ che phủ trồng đồng ruộng Đồng thời cung cấp liệu để phân đoạn cỏ dại đáng tin cậy xác Xung quanh nhiệm vụ phân vùng, kiểm tra số kiến trúc Mạng thần kinh tích chập (CNN) với thơng số khác (hyper parameters) để tìm kiến trúc mạng hiệu Bên cạnh đó, thử nghiệm sử dụng phổ cận hồng ngoại (NIR) số thực vật khác biệt chuẩn hóa (NDVI) làm số mật độ, sức khỏe độ xanh thực vật Chúng triển khai đánh giá hệ thống hai trang trại, củ cải đường đu đủ, để đưa kết luận dựa giai đoạn phát triển trồng Mục lục I TỔNG QUAN VỀ NỘI DUNG NGHIÊN CỨU Mở đầu Nội dung nghiên cứu II NGHIÊN CỨU MƠ HÌNH VÀ KIẾN TRÚC HỆ THỐNG NƠNG NGHIỆP CHÍNH XÁC SỬ DỤNG THIẾT BỊ BAY KHÔNG NGƯỜI LÁI TRÊN THẾ GIỚI Tổng quan hệ thống máy bay không người lái .6 Ứng dụng thiết bị bay không người lái nông nghiệp Các mơ hình nơng nghiệp sử dụng máy bay không người lái giới A Trung Quốc B Ấn Độ C Việt Nam .8 III THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU CÁNH ĐỒNG BẰNG THIẾT BỊ BAY KHÔNG NGƯỜI LÁI 10 Thiết kế xây dựng hệ thống thu thập liêu .10 A DJI Mavic Enterprise .10 B MapIR Survey 12 IV Vận hành hiệu chỉnh hệ thống 14 A Căn chỉnh khí, chuẩn hóa tối ưu tầm quan sát cho hệ thống camera 14 B Căn chỉnh cảm biến .15 QUY TRÌNH PHÁT HIỆN CỎ DẠI VÀ XÁC ĐỊNH VỊ TRÍ SỬ DỤNG THUỐC DIỆT CỎ .17 Tổng quan quy trình phương pháp phân vùng cỏ sử dụng học sâu 17 Dữ liệu làm giàu liệu .18 Mô hình học sâu 20 V VI A U-Net 20 B Residual unit 21 C Kết hợp mạng U-Net residual unit 22 Kết phân loại cỏ dại tập liệu 22 KẾT QUẢ THỰC NGHIỆM 25 TỔNG KẾT 27 TÀI LIỆU THAM KHẢO .28 A TỔNG QUAN VỀ NỘI DUNG NGHIÊN CỨU B Mở đầu Trong năm gần đây, bùng nổ dân số giới, biến đổi khí hậu gây áp lực lớn lên ngành nông nghiệp việc nâng cao chất lượng số lượng sản xuất lương thực Theo dự đoán, dân số giới đạt tỷ người vào năm 2050; đó, sản phẩm nông nghiệp cần tăng gấp đôi để đáp ứng nhu cầu tương lai [1] Tuy nhiên, sản xuất nông nghiệp phải đương đầu với thách thức to lớn từ bệnh hại trồng, sâu bệnh cỏ dại phá hoại Nó làm giảm suất, chất lượng lương thực giá trị nhiên liệu sinh học trồng Mỗi năm, thiệt hại lên tới 40% sản lượng trồng toàn cầu, tỷ trọng tăng mạnh năm tới [2] Cỏ dại cạnh tranh với trồng sản xuất đồng cỏ, chúng gây độc, tạo gờ, gai cản trở việc sử dụng quản lý loại trồng mong muốn cách làm ô nhiễm vụ thu hoạch ảnh hưởng đến gia súc Để giải vấn đề này, thuốc bảo vệ thực vật thuốc diệt cỏ phương pháp kiểm soát truyền thống sử dụng phổ biến diện rộng khắp cánh đồng nơng nghiệp Việc gây lãng phí lượng đáng kể hóa chất gây ô nhiễm môi trường [3] Để giảm thiểu việc sử dụng hóa chất tác động đến mơi trường đồng thời tăng trì suất, khái niệm nơng nghiệp xác đưa để người nông dân quản lý cánh đồng cách hiệu [4], [5] Nơng nghiệp xác định nghĩa cách cải thiện suất trồng hỗ trợ định quản lý cách sử dụng cảm biến cơng cụ phân tích cơng nghệ cao [6] Nó khảo sát số sức khỏe quan trọng trồng áp dụng biện pháp xử lý, ví dụ, thuốc diệt cỏ, thuốc trừ sâu phân bón, khu vực có liên quan Do đó, xử lý cỏ dại bước quan trọng nơng nghiệp xác liên quan trực tiếp đến sức khỏe suất trồng Để đạt mục tiêu này, cần thiết lập đồ xác độ che phủ cỏ dại để phun thuốc diệt cỏ cách xác Chúng ta cần thu thập liệu hình ảnh liệu có độ phân giải cao tồn cánh đồng Những hình ảnh thường chụp hai tảng truyền thống, vệ tinh máy bay có người lái Tuy nhiên, tảng có vấn đề liên quan đến độ phân giải không gian thời gian, việc sử dụng tảng phụ thuộc nhiều vào điều kiện thời tiết Trong năm gần đây, với phát triển khoa học công nghệ, Máy bay không người lái (UAV) coi thay phù hợp cho việc thu nhận hình ảnh UAV bay độ cao thấp chụp ảnh có độ phân giải không gian cực cao (tức vài cm), cho phép quan sát nhỏ cung cấp thông tin chi tiết mà vệ tinh máy bay điều khiển thực [7] UAV đóng vai trị tảng tuyệt vời để thu thập thông tin chi tiết nhanh chóng đất canh tác trang bị cảm biến khác Từ đồ trực tuyến, người sản xuất đưa định có lợi kinh tế thời gian, theo dõi sức khỏe trồng, nhận thơng tin nhanh chóng xác thiệt hại xác định vấn đề tiềm ẩn đồng ruộng Chính nghiên cứu này, đề xuất hệ thống nơng nghiệp xác sử dụng UAV để phát cỏ dại cách tự động hiệu Trong hệ thống đề xuất, thiết bị bay thu thập liệu cánh đồng gửi liệu máy tính sở để xử lý Từ hệ thống đưa thơng báo cho người dùng vị trí có mật độ cỏ dại cao gây ảnh hưởng đến trồng giúp người nông dân đưa định sử dụng thuốc diệt cỏ nhanh chóng hiệu Ngồi việc thiết kế tích hợp hệ thống, chúng tơi cịn tiến hành thử nghiệm mơ hình đề xuất khu vực canh tác Việt Nam, đánh giá hiệu thảo luận cách thức thu thập xử lý số liệu hệ thống thực tế C Nội dung nghiên cứu Trong nghiên cứu này, dựa việc nghiên cứu mơ hình nơng nghiệp thơng minh để đề xuất mơ hình giám sát phát cỏ dại với chi phí thấp, dễ dàng sử dụng Cũng nghiên cứu tối ưu quy trình để phù hợp với điều kiện thực tế cánh đồng Việt Nam Chúng xây dựng hệ thống với mục tiêu mang đến cho người nông dân công cụ giám sát quản lý hiệu cánh đồng Nghiên cứu bao gồm chương đó: Chương I: Tổng quan nội dung nghiên cứu Chương II: Nghiên cứu mơ hình kiến trúc hệ thống nơng nghiệp xác sử dụng thiết bị bay không người lái giới Chương III: Thiết kế hệ thống thu thập liệu cánh đồng thiết bị bay không người lái Chương IV: Quy trình phát cỏ dại xác định ví trí sử dụng thuốc diệt cỏ Chương V: Kết thực nghiệm Chương VI: Tổng kết D NGHIÊN CỨU MƠ HÌNH VÀ KIẾN TRÚC HỆ THỐNG NƠNG NGHIỆP CHÍNH XÁC SỬ DỤNG THIẾT BỊ BAY KHÔNG NGƯỜI LÁI TRÊN THẾ GIỚI Một hệ thống nông nghiệp thông minh thường áp dụng quy trình tự động hóa để cải thiện đáng kể suất lao động chất lượng hiệu sản xuất Đặc biệt với đất nước có nơng nghiệp tiên tiến, việc áp dụng công nghệ nông nghiệp thông minh khơng đem lại lợi ích kinh tế cịn hướng tới giảm thiểu tối đa tác động việc sản xuất nông nghiệp đến môi trường Và số công nghệ coi then chốt hệ thống thiết bị bay không người lái (UAV) Vì chương này, chúng tơi khảo sát tình hình ứng dụng cơng nghệ hệ thống nơng nghiệp thông minh đưa đánh giá mơ hình cách thức có triển khai Việt Nam Tổng quan hệ thống máy bay không người lái Máy bay không người lái khái niệm quen thuộc thời gian gần Ngay tên gọi khiến hình dung phần sản phẩm công nghệ đại bậc Nói cách nhất, chúng phương tiện bay không người lái thường gọi ngắn gọn máy bay không người lái Unmanned aerial vehicle tên tiếng anh máy bay không người lái thường viết tắt UAV UAV tên chung cho loại máy bay hoạt động mà khơng có xuất người buồng lái, hoạt động cách tự lập chúng thường điều khiển từ xa trung tâm hay máy điều khiển UAV sử dụng nhiều loại nhiệm vụ khác Có thể nói xuất thiết bị bay không người lái UAV thực cách mạng lĩnh vực thu thập số liệu, khảo sát, giám sát theo dõi đối tượng thực địa Ngoài chúng sử dụng với nhiều mục đích quan trọng khác như: quân sự, thu thập liệu nghiên cứu khoa học, cứu hộ cứu nạn, giao vận thương mại, giải trí v.v… Hiện nay, mơ hình máy bay khơng người lái thị trường vơ đa dạng nhiều kiểu dáng kích thước Nhưng máy bay không người lái chia thành dạng máy bay đa cánh quạt (Multi-copter), máy bay cánh (Fix-Wing), máy bay trực thăng, máy bay cánh cất cánh thẳng đứng (vertical takeoff and landing airplane – VTOL airplane) B Ứng dụng thiết bị bay không người lái nông nghiệp Theo báo cáo gần PwC (cơng ty kiểm tốn hàng đầu thể giới) ước tính thị trường máy bay khơng người lái cho nơng nghiệp có trị giá 32,4 tỷ USD Những lợi mà thiết bị bay tự động cung cấp cấp hợp với công cụ phân tích diễn giải liệu hình ảnh thành thơng tin thực mở cách mạng Tuy nhiên, ưu tiên việc giải vấn đề liên quan đến quyền riêng tư, an toàn bảo mật chìa khóa để triển khai bền vững cơng nghệ Với ứng dụng vô quan trọng việc quản lý suất sản xuất nông nghiệp, drone tiến dần thay người số nhiệm vụ phun thuốc bảo vệ thực vật, gieo hạt giống trồng cây, thu thập liệu phục vụ hoạt động canh tác … C Các mơ hình nơng nghiệp sử dụng máy bay khơng người lái giới A Trung Quốc Bắt đầu từ năm 2012, phủ Trung Quốc ban hành sách hỗ trợ phát triển nơng nghiệp cơng nghệ cao, có UAV Lơ lửng mặt đất, UAV sử dụng cảm biến máy ảnh tiên tiến thu thập liệu thời gian hình ảnh tăng trưởng thực vật, điều kiện đất đai, nhiệt độ đất, mực nước, mối đe dọa trồng Và khả tải trọng tăng lên, UAV sử dụng để phun thuốc trừ sâu rải phân bón cho trồng UAV góp phần giảm sức lao động người Năm 2005, nông nghiệp chiếm 45% lực lượng lao động Trung Quốc; năm 2015 28% Và theo nhà khoa học Hội nghị, UAV hoạt động hiệu gấp 20-30 lần so với người UAV khơng làm tăng sản lượng mà cịn giúp nhà nơng giảm tiếp xúc với hóa chất, góp phần bảo vệ mơi trường Tính trung bình, nơng dân Trung Quốc sử dụng thuốc trừ sâu nhiều 3-5 lần so với nước khác UAV giảm nửa lượng thuốc trừ sâu Ngoài ra, lâm nghiệp thủy sản sử dụng UAV để thu thập thơng tin tình trạng cổ thụ, ăn quả, hệ sinh thái động vật hoang dã, khu vực sinh vật biển Hình Thiết bị bay thực nhiệm vụ phun thuốc Trung Quốc B Ấn Độ Với dân số đứng thứ giới, Ấn Độ nước phải đương đầu với khó khăn việc phát triển nơng nghiệp Tính đến tháng năm 2018, đóng góp ngành nơng nghiệp vào GDP Ấn Độ 18%, theo Khảo sát kinh tế Ấn Độ 2018 Với tầm quan trọng nông nghiệp kinh tế Ấn Độ, đánh giá NSS năm 2003 ngành đáng lo ngại tiết lộ 40 phần trăm nông dân Ấn Độ làm số ngành nghề khác mà không làm nơng nghiệp Một lý bất mãn lợi nhuận đầu tư (ROI) giảm vấn đề khác bệnh trồng lập kế hoạch nguồn lực không phù hợp Việc sử dụng máy bay khơng người lái nơng nghiệp giải nhiều vấn đề gây khó khăn cho ngành, bao gồm giám sát sức khỏe trồng, điều trị trồng trinh sát trồng, tầm quan trọng máy bay khơng người lái phủ công ty khởi nghiệp công nhận Máy bay không người lái sử dụng nơng nghiệp Ấn Độ có số luật máy bay không người lái cần phải tuân theo, điều tiếp tục thay đổi Tổng cục trưởng Hàng không dân dụng cuối cơng bố sách máy bay máy bay khơng người lái điều khiển từ xa Được thiết lập để có hiệu lực từ ngày tháng 12 năm 2018, sách xác định phân loại máy bay điều khiển từ xa, làm chúng bay hạn chế mà chúng phải vận hành C Việt Nam Việt Nam nước nông nghiệp, Lực lượng lao động tham gia lĩnh vực nông nghiệp chiếm tỉ trọng lớn cấu nguồn nhân lực nước (trên 50% tổng số lao động độ tuổi lao động) Diện tích đất dành cho sản xuất nơng nghiệp nước ta lớn (theo Tổng cục Thống kê, năm 2009 100,5 nghìn ha, năm 2010 100,7 nghìn ha, năm 2011 100,8 nghìn ha) Tuy nhiên, nông nghiệp lại chiếm tỉ trọng khiêm tốn việc đóng góp vào phát triển GDP nước Nông nghiệp nước ta đánh giá lạc hậu phát triển chậm chạp, mang tính tự phát, sản xuất manh mún, nhỏ lẻ, sản lượng không cao chất lượng so với nước khu vực Chính cơng nghệ máy bay khơng người lái mang lại cho nông nghiệp Việt Nam lối Nó giúp chun mơn hóa tập trung, quy hoạch lại diện tích đất nơng nghiệp cách tập trung, cải thiện suất trồng Thời gian gần đây, nước ta triển khai nhiều nơi thí điểm ứng dụng drone cho nông nghiệp dừng lại việc tưới tiêu, phun thuốc trừ sâu Nhưng khả drone nông nghiệp không dừng đó, lợi mà thiết bị bay tự động cung cấp cấp hợp với cơng cụ phân tích diễn giải liệu hình ảnh thành thơng tin thực mở cách mạng Tuy nhiên, ưu tiên việc giải vấn đề liên quan đến quyền riêng tư, an toàn bảo mật chìa khóa để triển khai bền vững công nghệ Những triển khai máy bay khơng người lái nước ta hồn tồn dựa vào cơng nghệ nước ngồi nên ứng dụng cịn vơ hạn chế khó để cấp phép bay ảnh hưởng trực tiếp đến an ninh quốc gia Hình Trình diễn phun thuốc bảo vệ thực vật Đồng Tháp Mười 10 C QUY TRÌNH PHÁT HIỆN CỎ DẠI VÀ XÁC ĐỊNH VỊ TRÍ SỬ DỤNG THUỐC DIỆT CỎ Với mục tiêu giảm đáng kể việc sử dụng hóa chất ảnh hưởng đến mơi trường, chúng tơi đề xuất mơ hình giám sát phát cỏ dại giúp người nông dân đưa định sử dụng thuốc trừ sâu cách hiệu Các thuật toán phát xác định cỏ dại xen kẽ vùng trồng trọt Sau đó, với loại khơng mong muốn, người nông dân phun lượng thuốc diệt cỏ thuốc diệt nấm cần thiết thêm lượng phân bón thích hợp cho loại trồng Hệ thống cho phép nông dân tránh việc phải phun thuốc trừ sâu diện rộng Trong chương này, chúng tơi xây dựng quy trình xử lý liệu ảnh đa phổ, đồng thời sử dụng tập liệu cỏ dại chuẩn hóa để tối ưu mơ hình học sâu sử dụng để phát cỏ dại Tổng quan quy trình phương pháp phân vùng cỏ sử dụng học sâu Đối với công nghệ phát cỏ dại, số cơng trình định hướng cách sử dụng RGB bên cạnh hình ảnh đa quang phổ cánh đồng canh tác để xử lý giống cỏ dại trồng [9] sử dụng Chỉ số Excess Green Vegetation (ExG) [10] ngưỡng Otsu [11] để loại bỏ (đất, tàn dư) Sau đó, tác giả áp dụng phép biến đổi Hough kép [12] để xác định luống gieo trồng Phân vùng hình ảnh nhằm mục đích tìm hiểu thơng tin hình ảnh định cấp độ pixel, nhiệm vụ cần thiết đầy thử thách Trong năm gần đây, mạng nơ-ron tích chập (CNN) lên công cụ mạnh cho nhiệm vụ thị giác máy tính Ví dụ, [13] [14], tác giả áp dụng AlexNet để phát cỏ dại ruộng trồng khác nhau: đậu tương, củ cải đường, rau bina đậu Mortensen cộng [15] sử dụng phiên sửa đổi VGG-16 nhiệm vụ phân vùng loại trồng hỗn hợp từ lô củ cải dầu với lúa mạch, cỏ, cỏ dại, gốc đất Tuy nhiên, phương pháp có hiệu suất với hình ảnh có độ phân giải thấp lớp max-pooling down-sampling Để giải vấn đề này, U-Net [16] có chế tính trích xuất góp phần tái tạo lại hình ảnh độ phân giải ban đầu Thí nghiệm nghiên cứu sử dụng mơ hình dựa kiến trúc U-Net 19 B Dữ liệu làm giàu liệu Chúng sử dụng tập liệu trồng / cỏ dại từ đồng ruộng kiểm soát [17] gán nhãn cấp pixel hình ảnh củ cải đường cỏ dại Một camera đa quang phổ Sequoia gắn DJI Mavic - MAV thương mại, thu thập liệu tần số Hz độ cao mét Tổng cộng 149 hình ảnh chụp vùng ruộng riêng biệt: trồng, cỏ dại trồng trộn lẫn cỏ dại Mỗi hình ảnh tập liệu training / test gồm kênh màu đỏ, quang phổ NIR NDVI Vai trò phổ NDVI quan trọng nhiệm vụ phân vùng đất Các ví dụ sau làm rõ tầm quan trọng hình ảnh NDVI so với kênh màu đỏ NIR nhiệm vụ Trong NIR, khó khác biệt đất thực vật / cỏ dại Hình ảnh kênh màu đỏ dễ dàng nhận biết độ tương phản, phụ thuộc vào điều kiện ánh sáng thu thập liệu, gây không ổn định thiếu quán trình huấn luyện Mặt khác, hình ảnh NDVI dựa cách thực vật phản xạ dải phổ điện từ định, làm cho vật liệu thực vật đất dễ dàng tách Red NIR NDVI Hình Kênh màu đỏ điều kiện ánh sáng tốt (trên - trái) điều kiện ánh sáng xấu (trên - phải) Dưới - trái NIR - phải NDVI Tiếp theo, cần tập trung vào nhiệm vụ quan trọng nhất: phân biệt cỏ dại trồng Như đề cập trước đây, tập liệu huấn luyện chia thành trồng cỏ dại Cây có rộng, cành mảnh, cịn cỏ tranh có kích thước nhỏ phân bố thành đám Đặc điểm 20 hình thái giúp việc phân biệt cỏ trở nên dễ dàng góc độ vật thể riêng biệt Trong trường hợp đó, kỹ thuật thị giác máy tính phương pháp học máy truyền thống random-forest (RF) support vector machine (SVM) hồn thành nhiệm vụ Tuy nhiên thực tế, thực vật thường chồng lên cỏ dại, việc phân biệt loại thực vật cấp độ pixel trở nên khó khăn Để giải vấn đề này, định sử dụng giải pháp tiên tiến mạnh mẽ việc xác định đặc trưng liệu: mô hình học sâu Cây trồng Cỏ dại Overlap Hình Đối tượng riêng lẻ: trồng (trái), cỏ dại (giữa) đối tượng chồng lên (phải) Chúng ta cần nhấn mạnh học sâu công cụ mạnh mẽ giải nhiều vấn đề liên quan đến thị giác máy tính Tuy nhiên, hạn chế phương pháp cần có liệu đủ lớn để có hiệu suất đạt tính tổng qt hóa Dữ liệu nhỏ làm trầm trọng thêm vấn đề cụ thể, overfit, sai lệch tính tốn đặc biệt trường hợp chúng tôi, sai lệch lấy mẫu — hình ảnh có cỏ dại lên đến 65% tồn tập huấn luyện Do đó, đề xuất phương pháp làm giàu liệu để làm phong phú loại bỏ sai lệch tập liệu Tập liệu Tập liệu ban đầu Tập liệu sau Training 125 3564 Test 24 24 Tổng 149 3588 Bảng Số hình ảnh sau áp dụng phương pháp làm giàu liệu Mục tiêu phương pháp kết hợp cặp hình ảnh gồm trồng gồm cỏ dại thành Đầu tiên, phép biến đổi hình thái áp dụng cho hình ảnh gồm trồng để loại bỏ nhiễu nối phần nhỏ lại với Sau đó, tìm đường viền bên ngồi, vẽ 21 mặt nạ hình chữ nhật cho đường viền Cuối cùng, sử dụng kỹ thuật alpha blending (alpha = 1) để áp phần cắt lên hình ảnh cỏ dại Hình minh họa phương pháp lớp gắn nhãn sau {background, crop, weed} = {black, green, red} Số lượng hình ảnh tạo sau sử dụng phương pháp làm giàu liệu thể Bảng Hình Minh họa phương pháp làm giàu liệu C Mơ hình học sâu A U-Net U-Net mơ hình học sâu đề xuất cho nhiệm vụ phân vùng hình ảnh Kiến trúc tạo lộ trình truyền thơng tin: sử dụng chi tiết cấp mạng thấp giữ lại thông tin cấp cao Nó có phần đóng gói (bộ mã hóa) mở rộng (bộ giải mã), tạo hình chữ U độc Mỗi lớp mã hóa bao gồm hai lớp tích chập với hàm kích hoạt Rectified Linear Units (ReLU), cuối hàm max-pooling Tập hợp lớp học đặc tính theo mức độ phức tạp tăng dần thực đồng thời việc downsampling Mặt khác, giải mã lưu giữ tính mã hóa có cấp tương ứng để kết hợp thông tin sau Đầu mạng có kích thước với hình ảnh gốc Đối với nhiệm vụ phân vùng ảnh chúng tơi, có ba loại nhãn đầu mạng: trồng, cỏ dại đất 22 Hình 10 Mạng U-Net [16] B Residual unit Huấn luyện mạng nơ-ron nhiều lớp cải thiện hiệu suất mơ hình Tuy nhiên, độ sâu thường gây vấn đề " vanish gradient " khiến khơng thể truyền thơng tin hữu ích cho lớp sau tồn mơ hình Để giải vấn đề này, He et al [18] giới thiệu khái niệm residual Thay để lớp học H (x) x đầu vào lớp đầu tiên, mạng học với F (x) = H (x) -x cho H (x) = F (x) + x (xem Hình 11) Mặc dù hai phương pháp ước lượng hàm mục tiêu, việc huấn luyện với hàm residual có tác dụng tốt nhiều [18] Hình 11 Khối hàm thơng thường (trái) khối residual (phải) Hình theo [19] 23 C Kết hợp mạng U-Net residual unit Từ đó, mơ hình chúng tơi sử dụng nghiên cứu kết hợp điểm mạnh UNet residual unit (ResBlock), chúng tơi gọi mơ hình ResUNet (xem Hình 12) Nhưng thử nghiệm mình, chúng tơi nhận thấy việc chuyển tất khối tích chập đơi sang ResBlocks làm cho mạng học sâu trở nên phức tạp dẫn đến tượng overfit huấn luyện Vì vậy, đề xuất sử dụng ResBlocks phần encoder (bộ mã hóa) giữ nguyên phần decoder (bộ giải mã) Những sửa đổi tạo điều kiện cho việc tránh mát truyền thông tin thiết kế mạng nơ-ron phức tạp đạt hiệu suất phân vùng ảnh tốt Hình 12 Phiên U-Net kết với residual unit (ResUNet) 24 D Kết phân loại cỏ dại tập liệu Để đánh giá kết quả, sử dụng F1 score (3) làm giá trị trung hòa recall precision: F 1=2 Precision Recall Precision+ Recall (3) Trong precision đo mức độ xác mạng nơ-ron lần quan sát tích cực recall đo mức độ hiệu mạng nơ-ron xác định mục tiêu Resolution F1 Score (%) CNN DeepLabV3 HSCNN UNet SegNet ResUNet 256 x 256 64.29 58.01 66.36 66.16 69.11 73.87 512 x 512 66.76 68.91 77.15 77.78 75.23 80.56 Bảng So sánh hiệu suất mô hình Bảng cho thấy kết phương pháp đề xuất Chúng chọn thử nghiệm với nhiều độ phân giải chúng tơi muốn mơ độ cao UAV thu thập liệu: độ phân giải thấp chụp độ cao lớn bao phủ trường rộng hơn, giảm thời gian lấy mẫu Tuy nhiên, đổi lại, làm đặc trưng chi tiết trồng cỏ dại, ảnh hưởng trực tiếp đến kết cuối mơ hình Trong phần trước, chúng tơi trình bày điểm mạnh hạn chế mơ hình Kết Bảng chứng minh CNN khơng thích hợp cho nhiệm vụ phức tạp phân vùng Ngược lại, ResUNet cho thấy vượt trội tăng độ xác lên 3-4% so với mơ hình tốt nhì Tuy nhiên, số khơng thể tóm tắt tồn kết Chúng ta cần có hình ảnh minh họa cụ thể để phân tích kỹ kết NIR RED Ground NDVI truth 25 Prediction Difference Hình 13 Kết số ví dụ (theo hàng) Ba cột đầu vào mơ hình Cột thứ tư thứ năm kết thực kết dự đoán Cột cuối khác biệt kết thực dự đốn Để có nhìn trực quan, chúng tơi trình bày số ví dụ liệu đầu vào khác biệt kết thực dự đốn mơ hình (Hình 13) Hình ảnh đầu vào kênh đại diện ba cột loại quang phổ: NIR, RED NDVI Hai cột sau kết thực dự đoán; lớp dán nhãn sau {background, crop, weed} = {black, green, red} Cuối cùng, cột cuối chi tiết sai lầm mà mơ hình mắc phải Sự khác biệt kết thực dự đoán thể pixel màu trắng; hình ảnh có pixel trắng, hình ảnh xác Có thể thấy diện tích phân loại sai cỏ dại trồng xuất với số lượng thấp Trường hợp sai chủ yếu xảy khu vực dày đặc hai loại chồng lên Điều cho thấy mơ hình chúng tơi cần phải cải thiện số thơng số, nhìn chung kết phân loại đạt yêu cầu Bên cạnh đó, có sai sót đáng kể rìa trồng cỏ dại Theo chúng tôi, độ phân giải không gian tần suất lấy mẫu đề xuất trình thu thập liệu khơng phù hợp Độ phân giải không gian khiến liệu không đủ chi tiết để cung cấp cho mơ hình 26 phân vùng Tần số lấy mẫu cao gây tượng motion-blur Những yếu tố gây suy giảm chất lượng hình ảnh, làm cho mơ hình hoạt động 27 E KẾT QUẢ THỰC NGHIỆM Sau xác minh mơ hình với liệu có sẵn, tiến hành thử nghiệm để xác minh mơ hình điều kiện thực tế Trong thử nghiệm này, UAV lắp đặt camera có khả chụp ảnh quang phổ bay độ cao khác (hệ thống trình bày chi tiết Chương III) Dữ liệu sau hiệu chỉnh trước đưa vào mơ hình học sâu Và cuối kết mơ hình phân tích kết để đưa nhận định thơng số hệ thống với liệu mơ hình Thí nghiệm tiến hành ruộng đu đủ Có số đu đủ chưa trưởng thành với hai loại cỏ dại: chickweed (Stellaria media) crabgrass (Digitaria) (Hình 18) Chúng tơi chụp 110 hình ảnh ba độ cao khác với độ phân giải 4000 x 3000 pixel Tập liệu giám sát chuyên gia khoa học thích thủ cơng Q trình trung bình khoảng 45 phút / hình ảnh Sau huấn luyện mơ hình ResUNet, thu điểm F1: 0,82, 0,64, 0,61 độ cao 3, mét Hình 14 Chickweed (trái) and crabgrass (phải) Loại cỏ dại xuất nhiều tập liệu chickweed Đặc điểm hình thái loại cỏ dại giống với đu đủ chưa trưởng thành Sự khác biệt kích thước cỏ dại nhỏ chúng mọc dày so với đu đủ Chúng nhận thấy tập liệu đầy thách thức với khác biệt nhỏ hồn thành hình ảnh đủ chi tiết Các thí nghiệm chúng tơi cho thấy hình ảnh chụp độ cao mét (trong số ba độ cao thí nghiệm 3, mét) phát thực vật (Hình 15) Điều hồn tồn hợp lý độ 28 phân giải mặt đất 0,2 mm / px (chiều cao mét độ phân giải 4000 x 3000 pixel) làm cho hình ảnh có độ chi tiết cao đủ điều kiện để phân biệt đu đủ chưa trưởng thành với chickweed Tuy nhiên, điều khơng có nghĩa tất liệu độ cao mét không hiệu thực tế Như chúng tơi đề cập trước đó, tập liệu thách thức loại trồng giai đoạn trái mùa vào thời điểm thu thập liệu Điều dẫn đến nhiều khu vực cỏ dại rậm rạp xen kẽ khu vực với trồng Do đó, hình ảnh mét khơng đủ điều kiện cho nhiệm vụ phân vùng trường hợp cụ thể Tuy nhiên, nhiều trường hợp thực tế, việc phân loại trồng cỏ dại thường thực sớm để ngăn chặn lây lan cỏ dại (quản lý cỏ dại sớm theo khu vực cụ thể - ESSWM) Trong trường hợp đó, cỏ dại giai đoạn đầu mọc thưa thớt vật thể chồng lên xuất với tần suất thấp Điều làm cho nhiệm vụ phân vùng trở nên đơn giản phù hợp với ảnh độ cao chúng bao phủ khu vực rộng lớn, cải thiện suất phân loại trì độ xác Ground truth Prediction Difference 3m 5m 8m Hình 15 Sự khác biệt kết thực dự đốn mơ hình độ cao khác nhau: 3, mét (theo hàng) 29 F TỔNG KẾT UAV sử dụng ứng dụng phân vùng cỏ dại phải phân biệt trồng với cỏ dại để thực biện pháp can thiệp vào thời điểm Bài báo sử dụng hình ảnh đa quang phổ để tập trung vào đu đủ (tập liệu chúng tôi) củ cải đường (tập liệu công khai) Chúng tơi huấn luyện sáu mơ hình khác đánh giá chúng cách sử dụng F1 score làm thước đo Sau đó, đánh giá thực cách so sánh trực quan kết thực dự đoán Phương pháp đề xuất đạt hiệu suất tương đối cao 0,82 0,81 F1 score, tương ứng với ruộng đu đủ củ cải đường Thử nghiệm giải vấn đề thực tế việc sử dụng hình ảnh UAV để phân vùng cỏ dại phương pháp học sâu Chúng tơi đề xuất quy trình làm việc thơng số UAV tính tốn điều chỉnh cách chu đáo Từ đó, đưa kết tốt điều kiện phân loại khó khăn Hệ thống UAV ba độ cao khác đạt kết đáng kể việc phát cỏ dại Cụ thể hơn, thực vật cỏ dại có đặc điểm hình thái / màu sắc tương tự mật độ cỏ dại cao, tập liệu nên chụp độ cao mét để bảo toàn chi tiết Trong trường hợp ESSWM, mét thích hợp để tối ưu hóa việc quản lý diện tích trồng mà đảm bảo chất lượng phân loại Chúng nghiên cứu sâu yếu tố ảnh hưởng đến kết phân loại cuối làm rõ độ cao hệ thống UAV giai đoạn sinh trưởng khác trồng Để giải vấn đề này, cần thêm liệu huấn luyện nhiều loại cỏ dại, có quy mô lớn thời gian dài để phát triển hệ thống phát cỏ dại với chiến lược hiệu Bên cạnh đó, chúng tơi nghiên cứu yếu tố khác ảnh hưởng đến hiệu suất phân loại Có thể do: i) tượng đổ bóng xuất hầu hết hình ảnh đầu vào, ii) thiếu hụt kênh màu xanh xanh lam tập liệu Đổ bóng làm giảm tất thơng tin hình ảnh cảm biến từ xa Nội dung thơng tin bị thiếu làm cho việc ước lượng thông số sinh lý thiếu xác ngăn cản việc mơ tả liệu [20] Bên cạnh đó, số cơng trình sử dụng ảnh RGB từ UAV [21], [22] thu kết tuyệt vời, điều khiến phải xem xét vai trò chưa đánh giá cao kênh màu xanh lục xanh lam tập liệu Tuy nhiên, phạm vi nghiên cứu khó tiếp cận 30 nội dung nên mong muốn vấn đề tiếp tục nghiên cứu tương lai 31 TÀI LIỆU THAM KHẢO [1] A Singh, B Ganapathysubramanian, A K Singh, and S Sarkar, “Machine Learning for HighThroughput Stress Phenotyping in Plants,” Trends Plant Sci., vol 21, no 2, 2016 [2] S Savary, A Ficke, J N Aubertot, and C Hollier, “Crop losses due to diseases and their implications for global food production losses and food security,” Food Secur., vol 4, no 4, pp 519– 537, Dec 2012 [3] E.-C OERKE, “Crop losses to pests,” J Agric Sci., vol 144, no 1, pp 31–43, Feb 2006 [4] F J Pierce and P Nowak, “Aspects of Precision Agriculture,” Adv Agron., vol 67, no C, pp 1–85, Jan 1999 [5] A McBratney, B Whelan, T Ancev, and J Bouma, “Future Directions of Precision Agriculture,” Precis Agric., vol 6, no 1, pp 7–23, Feb 2005 [6] P Singh et al., “Hyperspectral remote sensing in precision agriculture: present status, challenges, and future trends,” in Hyperspectral Remote Sensing, Elsevier, 2020, pp 121–146 [7] J Torres-Sánchez, J M Pa-Barragán, D Gómez-Candón, A I De Castro, and F López-Granados, “Imagery from unmanned aerial vehicles for early site specific weed management,” Wageningen Acad Publ., pp 193–199, 2013 [8] H Xiang and L Tian, “Development of a low-cost agricultural remote sensing system based on an autonomous unmanned aerial vehicle (UAV),” Biosyst Eng., vol 108, no 2, pp 174–190, Feb 2011, doi: 10.1016/J.BIOSYSTEMSENG.2010.11.010 [9] C Gée, J Bossu, G Jones, and F Truchetet, “Crop/weed discrimination in perspective agronomic images,” Comput Electron Agric., vol 60, no 1, pp 49–59, Jan 2008 [10] D M Woebbecke, G E Meyer, K Von Bargen, and D A Mortensen, “Color indices for weed identification under various soil, residue, and lighting conditions,” Trans Am Soc Agric Eng., vol 38, no 1, pp 259–269, 1995 [11] N Otsu et al., “A Tlreshold Selection Method from Gray-Level Histograms,” IEEE Trans Syst Man Cybern., vol C, no 1, pp 62–66, 1979 [12] P.V.C Hough, “Method and means for recognizing complex patterns,” U.S Patent 30696541962 Dec 18, 1962 [13] A dos Santos Ferreira, D Matte Freitas, G Gonỗalves da Silva, H Pistori, and M Theophilo Folhes, “Weed detection in soybean crops using ConvNets,” Comput Electron Agric., vol 143, no 32 February, pp 314–324, 2017 [14] M D Bah, E Dericquebourg, A Hafiane, and R Canals, Deep learning based classification system for identifying weeds using high-resolution UAV imagery, vol 857 Springer International Publishing, 2019 [15] A K Mortensen, M Dyrmann, H Karstoft, R N Jørgensen, and R Gislum, “Semantic segmentation of mixed crops using deep convolutional neural network.,” CIGR-AgEng Conf 26-29 June 2016, Aarhus, Denmark Abstr Full Pap., pp 1–6, 2016 [16] O Ronneberger, P Fischer, and T Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” Med Image Comput Comput Interv., vol 9351, pp 234–241, May 2015 [17] I Sa et al., “WeedNet: Dense Semantic Weed Classification Using Multispectral Images and MAV for Smart Farming,” IEEE Robot Autom Lett., vol 3, no 1, pp 588–595, Jan 2018 [18] K He, X Zhang, S Ren, and J Sun, “Deep Residual Learning for Image Recognition,” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., vol 2016-Decem, pp 770–778, Dec 2015 [19] A Zhang, Z C Lipton, M Li, and A J Smola, Dive into Deep Learning 2021 [20] P M Dare, “Shadow analysis in high-resolution satellite imagery of urban areas,” Photogramm Eng Remote Sensing, vol 71, no 2, pp 169–177, 2005 [21] H Huang et al., “Accurate Weed Mapping and Prescription Map Generation Based on Fully Convolutional Networks Using UAV Imagery,” Sensors, vol 18, no 10, p 3299, Oct 2018, doi: 10.3390/S18103299 [22] M D Bah, A Hafiane, and R Canals, “Deep Learning with Unsupervised Data Labeling for Weed Detection in Line Crops in UAV Images,” Remote Sens., vol 10, no 11, p 1690, Oct 2018, doi: 10.3390/RS10111690 33 ... dụng thiết bị bay không người lái giới Chương III: Thiết kế hệ thống thu thập liệu cánh đồng thiết bị bay không người lái Chương IV: Quy trình phát cỏ dại xác định ví trí sử dụng thu? ??c diệt cỏ. .. D THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU CÁNH ĐỒNG BẰNG THIẾT BỊ BAY KHÔNG NGƯỜI LÁI Thiết kế xây dựng hệ thống thu thập liêu Trong hệ thống thu thập liệu cánh đồng, sử dụng thiết bị bay không người. .. trình xử lý liệu ảnh đa phổ, đồng thời sử dụng tập liệu cỏ dại chuẩn hóa để tối ưu mơ hình học sâu sử dụng để phát cỏ dại Tổng quan quy trình phương pháp phân vùng cỏ sử dụng học sâu Đối với