ROBOT NHỔ CỎ TỰ ĐỘNG DỰA TRÊN PHÂN TÍCH ẢNH SỬ DỤNG MÔ HÌNH HỌC SÂU

ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 3, 2021 23 ROBOT NHỔ CỎ TỰ ĐỘNG DỰA TRÊN PHÂN TÍCH ẢNH SỬ DỤNG MƠ HÌNH HỌC SÂU AN AUTOMATIC WEEDING ROBOT BASED ON IMAGE ANALYSIS USING DEEP LEARNING MODEL Phan Trần Đăng Khoa1*, Từ Phương Nguyên1, Đỗ Tuấn Sơn1, Nguyễn Quang Hiếu1, Vũ Vân Thanh1 Trường Đại học Bách khoa - Đại học Đà Nẵng *Tác giả liên hệ: ptdkhoa@dut.udn.vn (Nhận bài: 01/02/2021; Chấp nhận đăng: 15/3/2021) Tóm tắt - Hiện nay, việc lạm dụng hóa chất diệt cỏ không gây tác động xấu đến môi trường sức khỏe người mà cịn dẫn đến việc hình thành ngày nhanh loại cỏ có khả kháng thuốc Do đó, việc nghiên cứu phương pháp diệt cỏ khơng sử dụng hóa chất ngày quan tâm Trong báo này, nhóm tác giả đề xuất thiết kế robot nhổ cỏ tự động dựa phân tích hình ảnh Từ đó, chế tạo nguyên mẫu để kiểm thử đánh giá Mô hình học sâu áp dụng với sở liệu thu thập thực tế để phát đối tượng trồng cỏ dại Nhóm tác giả đề xuất phương pháp để xác định tọa độ 3D đối tượng quan tâm dựa mơ hình camera Kết thực nghiệm cho thấy, hệ thống có độ xác cao phát hiện, phân loại xác định tọa độ 3D đối tượng quan tâm Abstract - Currently, the application of herbicides not only has negative impacts on the environment and human health, but also leads to rapidly increasing herbicide resistance in weeds Therefore, the study of weeding methods without using herbicides attracts interest of researchers In this paper, we propose the design of an automatic weeding robot based on image analysis Based on this design, we build a prototype for testing and evaluation A deep learning model is applied on a dataset collected in real environment to detect crops and weeds We also propose a method to determine the 3D coordinates of objects based on camera calibration Experimental results show that the system has high accuracy for object detection and classification, and localization of objects in 3D environment Từ khóa - Học sâu; Phát đối tượng; Diệt cỏ tự động; Robot Key words - Deep learning; Object detection; Automatic weeding; Robot Giới thiệu Trong kỷ trước, sản xuất nông nghiệp đạt thành tựu vượt trội nhờ vào việc canh tác diện rộng kết hợp với khí hóa cơng cụ sản xuất Ngồi ra, giống tăng trưởng biến đổi gen, thuốc trừ sâu, diệt cỏ phân bón góp phần nâng cao suất sản xuất Tuy nhiên, xu hướng gây số vấn đề Việc sử dụng hóa chất để trừ sâu diệt cỏ diện rộng tác động xấu đến môi trường dẫn đến tình trạng kháng thuốc động thực vật liên quan Theo thống kê báo cáo [1], tình trạng cỏ kháng thuốc làm tăng chi phí sản xuất lên 27% mẫu Anh Australia tăng chi phí diệt cỏ thiệt hại suất trồng Tại Mỹ, nông dân phải trả thêm 150 USD mẫu Anh để nhổ cỏ thủ công biện pháp diệt cỏ hóa chất khơng cịn hiệu cỏ kháng thuốc Tuy chưa có thống kê cụ thể Việt Nam số nghiên cứu nước đánh giá mức độ cỏ kháng thuốc đưa khuyến cáo [2] Nhằm giải vấn đề này, bên cạnh biện pháp sử dụng thuốc diệt cỏ hợp lý việc áp dụng kỹ thuật cơng nghệ tiên tiến để thay phần hoàn tồn phương pháp sử dụng hóa chất quan tâm nghiên cứu Gần đây, robot diệt cỏ tự động với khả phân loại trồng cỏ dại cho phép cắt giảm lượng hóa chất sử dụng khơng phải phun diện rộng [3-5] Một số nghiên cứu khác đề xuất thiết kế kết hợp xe tự hành máy bay không người lái để phát triển tảng robot quản lý trồng cỏ dại [6] Đối với mơ hình khối phát phân loại đối tượng trồng, cỏ dại đóng vai trị quan trọng Việc phát cỏ dại thường tiến hành thông qua hình ảnh thu từ camera màu thơng thường kết hợp với camera cận hồng ngoại Việc sử dụng camera thơng thường có ưu điểm giá thành Tuy có giá thành cao camera cận hồng ngoại lại có lợi xạ dải tần phản xạ mạnh Phương pháp chung để phát trồng, cỏ dại phân vùng ảnh theo màu sắc không gian màu khác HSV, Lab, … [3] Tuy nhiên, phương pháp bị ảnh hưởng nhiều đa dạng phức tạp màu sắc trồng nhiễu ánh sáng từ môi trường Việc phân loại trồng cỏ dại thực thông qua mơ hình học máy (machine learning) với đặc trưng đầu vào liên quan đến hình dáng, cấu trúc, gradient, … [4, 5] Trong thời gian gần đây, với phát triển kỹ thuật học sâu (deep learning), toán phát phân loại đối tượng giải hiệu Các nghiên cứu [7-12] đề xuất mơ hình phát đối tượng, phù hợp với tiêu chí ứng dụng khác độ xác, tốc độ xử lý, … Các mơ hình phát đối tượng dựa kỹ thuật học sâu chia thành loại sau [7]: Thứ nhất, mơ R-CNN [8], Fast RCNN [9], … đưa vùng đề xuất thực phân loại đối tượng cho vùng này; Thứ hai, mơ YOLO [10, 11], SSD [12], … thực phép hồi quy để dự đoán thơng tin vị trí phân loại đối tượng dựa đặc trưng phân tích từ ảnh thông qua The University of Danang - University of Science and Technology (Phan Tran Dang Khoa, Tu Phuong Nguyen, Do Tuan Son, Nguyen Quang Hieu, Thanh Vu Van) 24 Phan Trần Đăng Khoa, Từ Phương Nguyên, Đỗ Tuấn Sơn, Nguyễn Quang Hiếu, Vũ Vân Thanh mạng nơ-ron tích chập Các mơ hình dựa vùng đề xuất có lợi độ xác định vị đối tượng có tốc độ xử lý chậm Trong đó, mơ hình dựa hồi quy có ưu điểm tốc độ xử lý nhanh độ xác phân loại đối tượng Trong báo này, nhóm tác giả đề xuất thiết kế robot diệt cỏ tự động với khối phát hiện, phân loại định vị đối tượng xây dựng dựa mơ hình học sâu So với nghiên cứu liên quan [3-6], nhóm tác giả có đóng góp nghiên cứu Cụ thể sau: Thứ nhất, nhóm tác giả đề xuất thiết kế khung robot với cấu đầu kẹp để nhổ cỏ nhằm tránh sử dụng hóa chất diệt cỏ Dựa vào thiết kế này, chế tạo nguyên mẫu để kiểm thử đánh giá; Thứ hai, áp dụng mơ hình học sâu với sở liệu thu thập thực tế để phát phân loại đối tượng đối tượng trồng, cỏ dại; Thứ ba, đề xuất phương pháp xác định tọa độ 3D điểm quan tâm từ tọa độ ảnh tương ứng dựa vào mô hình camera Tổng quan hệ thống Sơ đồ khối hệ thống mơ tả Hình Hình ảnh thu từ camera sử dụng để phát cỏ dại Một mơ hình học sâu áp dụng để phân tích hình ảnh đưa dự đoán phát đối tượng ảnh Các đối tượng định vị ảnh hộp giới hạn (bounding box) với kích thước tọa độ tâm nén, dự trữ bình chứa đưa tới cấu chấp hành đầu kẹp thơng qua van điều khiển Khi nhận tín hiệu điều khiển từ vi điều khiển, van đóng mở để vận hành cấu kẹp Chi tiết gắn cấu kẹp thiết kế để dễ dàng thay cấu tác vụ khác tùy theo mục đích a) b) Hình Sơ đồ khối mơ hình robot diệt cỏ tự động Từ thông tin tọa độ tâm đối tượng, tính tốn tọa độ đối tượng khơng gian 3D Thông tin sử dụng để điều khiển động để dịch chuyển cấu tác vụ đến vị trí cần thiết Thiết kế khí Phần thiết kế khí cho robot bao gồm thành phần sau: Khung robot, khối động truyền động, cấu kẹp Phần thiết kế mô thực phần mềm SolidWorks (Hình 2) Khung robot thiết kế theo hệ Prusa (Hình 2a) Dựa khảo sát thực tế, đưa kích thước robot sau: 0,75𝑚 (D) × 0,7𝑚(R) × 0,7𝑚 (C) Phần cấu kẹp dịch chuyển theo trục tự (Hình 2b) Ba động bước sử dụng để dịch chuyển cấu đầu kẹp thông qua dây cua-roa lắp ray trượt (Hình 2c) Các mạch driver điều khiển động bố trí độc lập động Cơ cấu kẹp điều khiển khí c) Hình Thiết kế 3D: (a) Khung robot; (b) Chi tiết đầu kẹp; (c) Chi tiết ray trượt Phát xác định tọa độ 3D đối tượng 4.1 Mơ hình phát đối tượng Qua khảo sát số nghiên cứu liên quan [7], nhóm tác giả lựa chọn mơ hình YOLO để áp dụng cho khối phát đối tượng YOLO có ưu điểm tốc độ xử lý nhanh Khác với mơ hình dựa vùng đề xuất, mơ hình YOLO dựa mạng nơ-ron với đầu vào ảnh đầu thơng tin vị trí kích thước hộp giới hạn phân loại đối tượng phát Ảnh đầu vào chia thành (cell), dự đốn thông tin hộp giới hạn phân loại đối tượng (Hình 3a) Mơ hình YOLO sử dụng lớp mạng nơ-ron tích chập để trích xuất đặc trưng ảnh Sau đó, mơ hình YOLO thực toán hồi quy với liệu vào đặc trưng ảnh liệu các thông tin hộp giới hạn phân loại đối tượng thông qua lớp liên kết đầy đủ (fully-connected layer) (Hình 3b) ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 3, 2021 a) b) Hình Mơ hình YOLO: (a) Ngun lý; (b) Kiến trúc mạng [10] Hàm mát mơ hình YOLO bao gồm nhiều thành phần để đánh giá việc dự đốn kích thước vị trí hộp giới hạn việc phân loại đối tượng Hàm mát có dạng sau [10]: 𝑆2 𝐵 𝑜𝑏𝑗 ℒ = 𝜆𝑐𝑜𝑜𝑟𝑑 ∑ ∑ 𝕝𝑖𝑗 [(𝑥𝑖 − 𝑥̂𝑖 )2 + (𝑦𝑖 − 𝑦̂𝑖 )2 ] 𝑖=0 𝑗=0 𝑆2 𝐵 𝑜𝑏𝑗 + 𝜆𝑐𝑜𝑜𝑟𝑑 ∑ ∑ 𝕝𝑖𝑗 [(√𝑤𝑖 − √𝑤 ̂𝑖 ) 𝑖=0 𝑗=0 + (√ℎ𝑖 − √ℎ̂𝑖 ) ] 𝑆2 𝐵 𝑜𝑏𝑗 𝑆2 𝐵 𝑛𝑜𝑜𝑏𝑗 + 𝜆𝑛𝑜𝑜𝑏𝑗 ∑ ∑ 𝕝𝑖𝑗 + 𝑜𝑏𝑗 𝕝𝑖 thể 𝑆2 𝑖=0 𝑗=0 này, ta xác định tọa độ vị trí quan tâm không gian 3D từ tọa độ điểm ảnh Tuy nhiên, ảnh hưởng méo dạng quang học (optical distortions) sai số việc đo khoảng cách nên ta cần có phương pháp hiệu chuẩn (calibration) để tăng độ xác việc xác định tọa độ 3D Trước hết, cần mơ hình hóa cho camera ước lượng hệ số mơ hình Một camera thơng thường mơ hình hóa mơ hình camera lỗ kim (pinhole camera), tức camera xem hộp kín có lỗ với độ nhỏ để ánh sáng từ vật qua tạo ảnh cảm biến [13] Để mơ hình hóa xác camera thực tế, mơ hình camera đầy đủ bổ sung thêm méo dạng quang học xuyên tâm (radial distortions) tiếp tuyến (tangential distortions) sinh thấu kính camera Để thuận tiện cho việc mơ hình hóa camera, ta thêm vào mặt phẳng ảnh chuẩn hóa (normalized image plane) song song với mặt phẳng ảnh vật lý (physical image plane) cách lỗ kim đơn vị khoảng cách (Hình 4) Gọi 𝑃 = (𝑋 𝑌 𝑍 1)𝑇 , 𝑝̂ = (𝑥̂ 𝑦̂ 1)𝑇 𝑝 = (𝑥 𝑦 1)𝑇 tọa độ đồng (homogeneous coordinates) điểm vật không gian 3D, điểm ảnh mặt phẳng ảnh chuẩn hóa, điểm ảnh mặt phẳng ảnh vật lý Mơ hình camera mơ hình hóa phép chiếu từ điểm vật không gian 3D đến điểm ảnh mặt phẳng ảnh vật lý sau: Trước tiên, tia sáng từ điểm vật 𝑃 tạo ảnh 𝑝̂ mặt phẳng ảnh chuẩn hóa theo mối quan hệ sau: ℛ 𝒕 (2) 𝑝̂ = ( 𝑇 ) 𝑃 = 𝒯𝑃, 𝑍 𝟎 𝑍 với, ℛ, 𝒕 – ma trận xoay vector tịnh tiến để biến đổi điểm 𝑃 từ hệ trục tọa độ không gian 3D sang hệ trục tọa độ camera; 𝒯 gọi ma trận hiệu chuẩn ngoại + ∑ ∑ 𝕝𝑖𝑗 (𝐶𝑖 − 𝐶̂𝑖 ) 𝑖=0 𝑗=0 25 (𝐶𝑖 − 𝐶̂𝑖 ) 𝑜𝑏𝑗 ∑ 𝕝𝑖 ∑ (𝑝𝑖 (𝑐) 𝑖=0 𝑐∈𝑐𝑙𝑎𝑠𝑠𝑒𝑠 Hình Mơ hình camera − 𝑝̂𝑖 (𝑐)) , (1) có mặt đối tượng ô thứ 𝑖; với, 𝑜𝑏𝑗 𝕝𝑖𝑗 thể kết dự đoán hộp giới hạn thứ 𝑗 ô thứ 𝑖; 𝑥, 𝑦, 𝑤, ℎ tọa độ tâm kích thước hộp giới hạn; 𝐶 độ tin cậy (confidence); 𝑝(𝑐) xác suất phân loại; 𝜆𝑐𝑜𝑜𝑟𝑑 = 5, 𝜆𝑛𝑜𝑜𝑏𝑗 = 0,5 – trọng số 4.2 Xác định tọa độ 3D Do ảnh thu từ camera chứa thông tin 2D không gian thực 3D nên ta xác định tọa độ đối tượng quan tâm khơng gian 3D khơng có thơng tin thêm Đối với mơ hình robot này, ta giữ cố định vị trí camera so với hệ trục tọa độ gắn với mặt đáy robot nên dựa thông tin khoảng cách Do ảnh hưởng méo dạng quang học xuyên tâm tiếp tuyến nên tạo độ điểm ảnh bị ảnh hưởng theo biểu thức sau [14]: 𝑝̂𝑑 = (1 + 𝑘1 𝑟 + 𝑘2 𝑟 + 𝑘3 𝑟 )𝑝̂ + 𝑑𝑥, (3) với, 𝑘1 , 𝑘2 , 𝑘3 hệ số méo dạng xuyên tâm, 𝑘4 , 𝑘5 hệ số méo dạng tiếp tuyến; 𝑟 = 𝑥̂ + 𝑦̂ ; 𝑑𝑥 vector méo dạng tiếp tuyến, có biểu diễn sau: 2𝑘 𝑥̂𝑦̂ + 𝑘5 (𝑟 + 2𝑥̂ ) ) 𝑑𝑥 = ( (4) 𝑘4 (𝑟 + 2𝑦̂ ) + 2𝑘5 𝑥̂𝑦̂ Cuối cùng, tia sáng tạo ảnh mặt phẳng ảnh vật lý Tọa độ điểm ảnh 𝑝 xác định sau: 𝛼 −𝛼 cot 𝜃 𝑥0 𝑝 = ( 𝛽/ sin 𝜃 𝑦0 ) 𝑝̂𝑑 = 𝒦𝑝̂𝑑 , (5) 0 với 𝛼, 𝛽 – tiêu cự theo phương 𝑥 𝑦 (đơn vị pixel); 𝜃 – góc trục cảm biến (do hệ trục tọa độ Phan Trần Đăng Khoa, Từ Phương Nguyên, Đỗ Tuấn Sơn, Nguyễn Quang Hiếu, Vũ Vân Thanh 26 camera bị méo, tức khơng hợp góc 90 độ); (𝑥0 , 𝑦0 ) – tọa độ tâm cảm biến; 𝒦 - ma trận hiệu chuẩn nội Để xác định hệ số ma trận 𝒦 𝒯, nhóm tác giả thực hiệu chuẩn camera, tương ứng với tốn tối ưu hóa, với liệu vào tọa độ biết trước điểm không gian 3D liệu tọa độ điểm ảnh tương ứng: 𝑁 argmin ∑‖𝑝𝑖 − ℱ(𝑃𝑖 , Θ)‖22 , 𝑁 Θ (6) 𝑖=1 với, Θ – hệ số mơ hình; {𝑃𝑖 , 𝑝𝑖 } cặp điểm 3D điểm ảnh; ℱ(⋅) mơ hình camera, mơ tả phương trình (2-5) Các thuật tốn tối ưu Levenberg- Marquardt áp dụng để giải toán tối ưu (6) Khi ước lượng hệ số mơ hình camera, ta khôi phục tia sáng tới từ điểm vật dựa tọa độ điểm ảnh cho trước cách thực phép chiếu ngược (back-projection) từ phương trình (5) đến (2) Trong đó, để xác định tọa độ 𝑝̂ từ tọa độ 𝑝̂𝑑 , tương ứng với việc khử méo dạng quang học, ta cần giải toán tối ưu đơn giản sau: argmin‖𝑝̂𝑑 − 𝒮(𝑝̂ , Ω)‖22 , (7) Kết thực nghiệm 6.1 Nguyên mẫu robot Từ thiết kế trình bày Mục 3, nhóm tác giả thi cơng ngun mẫu robot để thực kiểm thử đánh giá Kết thi cơng thể Hình Nhóm tác giả sử dụng nhơm cơng nghiệp để làm khung robot Các chi tiết khớp nối phức tạp đầu kẹp chế tạo công nghệ in 3D (Hình 6b&c) Nhóm tác giả sử dụng động bước với moment xoắn 0.6𝑁𝑚 mạch driver TB6600 Camera Logitech C270 lắp đặt với quang trục vng góc cách mặt đáy robot khoảng 50𝑐𝑚 Với khoảng cách này, hình ảnh thu từ camera bao quát vùng làm việc robot đối tượng có kích thước đủ lớn để phát mơ hình YOLO 𝑝̂ với, 𝒮(⋅) – hàm biến đổi mô tả phương trình (3) (4); Ω – hệ số phương trình (3) (4) Để xác định tọa độ 3D, nhóm tác giả sử dụng số điểm liệu 3D với tọa độ biết trước, nằm mặt đáy robot thực hiệu chuẩn camera Nhờ đó, ước lượng hệ số ma trận hiệu chuẩn ngoại 𝒯, tức thông tin vị trí tương đối hệ trục tọa độ mặt đáy (vùng hoạt động robot) hệ trục tọa độ camera Điều khiển cấu chấp hành Mỗi khung hình xử lý máy tính nhúng Raspberry Pi để phát xác định tọa độ 3D đối tượng cỏ Thông tin truyền đến khối điều khiển cấu chấp hành Vi điều khiển ATMega2560 sử dụng để điều khiển động bước van khí nén Lưu đồ thuật toán khối điều khiển cấu chấp hành mơ tả Hình Hình Lưu đồ thuật toán khối điều khiển cấu chấp hành (a) b) c) Hình (a) Nguyên mẫu robot; (b) Chi tiết động cơ, ray trượt, khớp nối; (c) Chi tiết cấu kẹp Kết thi cơng cho thấy, robot có kết cấu vững chắc; động cấu truyền động hoạt động ổn; hình ảnh thu có chất lượng tốt, đảm bảo cho việc phát đối tượng 6.2 Đánh giá mô hình phát đối tượng 6.2.1 Cơ sở liệu Để huấn luyện mơ hình phát đối tượng, nhóm tác giả thu thập liệu thực tế từ camera lắp đặt nguyên mẫu robot xây dựng Với mục đích kiểm tra đánh giá sơ hiệu mơ hình, nhóm tác giả tạo sở liệu nhỏ với loại trồng hai loại cỏ dại (Hình 7) Đối với ảnh, tiến hành gán nhãn, bao gồm thông tin hộp giới hạn phân loại trình bày Mục 4.1 Cơ sở liệu thu bao gồm 4531 nhãn Các kỹ thuật tăng cường liệu (data augmentation) thay đổi độ sáng, thêm nhiễu, tịnh tiến ảnh, xoay ảnh,… áp dụng để tăng số lượng mẫu sở liệu, đồng thời tạo đa dạng đối tượng ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 19, NO 3, 2021 6.2.2 Tiêu chí đánh giá mơi trường huấn luyện Nhóm tác giả sử dụng tiêu chí mAP (mean Average Precision) [10] để đánh giá mơ hình phát đối tượng Huấn luyện mơ hình máy tính có cấu sau: CPU – Intel Core i5-7500 @ 3,4GHz, RAM - 16Gb, GPU - Nvidia GTX GeForce 1070Ti Ngôn ngữ sử dụng Python Áp dụng phương pháp học chuyển tiếp (transfer learning) để huấn luyện mơ hình YOLO với sở liệu thu thập Tốc độ học sử dụng 0,001 Thời gian huấn luyện vào khoảng tiếng 27 6.3 Đánh giá sai số xác định tọa độ đối tượng 6.3.1 Đánh giá sai số hiệu chuẩn camera a) a) b) x c) Hình (a) Hình ảnh thu thập thực tế; (b) Ảnh ví dụ đối tượng trồng; (c) Ảnh ví dụ đối tượng cỏ dại loại loại b) 6.2.3 Kết huấn luyện kiểm tra Sự thay đổi hàm mát theo số vịng lặp mơ tả Hình Có thể thấy rằng, hàm mát bắt đầu hội tụ từ vịng lặp thứ 1000 c) Hình (a) Ảnh bảng bàn cờ dùng để hiệu chuẩn camera (các điểm góc đánh dấu ×); (b) Hiển thị trực quan vị trí tương đối bảng bàn cờ camera; (c) Sai số khoảng cách điểm ảnh qua phép chiếu điểm ảnh thật Hình Đồ thị hàm mát theo số vòng lặp Kết mAP thể Bảng cho thấy, độ xác việc phát phân loại đối tượng cao Giá trị mAP trung bình cho tất đối tượng khoảng 0,95 Kết đảm bảo cho việc tự động phát đối tượng để thực tác vụ cần thiết Bảng Kết mAP tập kiểm tra Đối tượng Tiêu chí mAP Cây trồng Cỏ dại Cỏ dại 0,98 0.97 0,91 Để hiệu chuẩn camera, nhóm tác giả sử dụng bảng bàn cờ (checkerboard) (Hình 9a), với hệ trục tọa độ cho trước gắn với bảng bàn cờ, biết trước tọa độ 3D điểm góc (corner) bảng Đồng thời, dễ dàng xác định tọa độ 2D điểm ảnh tương ứng Với liệu đầu vào đầu này, thực hiệu chuẩn camera để ước lượng giá trị hệ số camera, vị trí tương đối camera bảng bàn cờ Hình 9b biểu diễn trực quan vị trí tương đối camera bảng bàn cờ Đặt bảng bàn cờ 20 vị trí khác so với camera để kết xác việc hiệu chuẩn camera Sau thu giá trị ước lượng 28 Phan Trần Đăng Khoa, Từ Phương Nguyên, Đỗ Tuấn Sơn, Nguyễn Quang Hiếu, Vũ Vân Thanh hệ số camera vị trí tương đối, thực phép chiếu từ điểm góc bảng bàn cờ lên mặt phẳng ảnh dựa mơ hình camera (được mơ tả phương trình (2-5) Từ đó, tính sai số khoảng cách điểm ảnh qua phép chiếu điểm ảnh thật Hình 9c mơ tả sai số khoảng cách 20 vị trí khác bảng bàn cờ camera Có thể thấy rằng, giá trị sai số trung bình đối vào khoảng 0,14 pixel giá trị sai số lớn khoảng 0,41 pixel Kết đảm bảo cho việc xác định tọa độ 3D vị trí quan tâm xác 6.3.2 Đánh giá sai số xác định tọa độ 3D Để đánh giá sai số xác định tọa độ 3D, thiết lập điểm với tọa độ 3D biết trước mặt đáy robot Vị trí tương đối hệ trục tọa độ mặt đáy robot hệ trục tọa camera ước lượng thông qua hiệu chuẩn camera Từ tọa độ điểm ảnh tương ứng, thực phép chiếu ngược mô tả Mục 4.2 để xác định tọa độ 3D vị trí quan tâm Sai số xác định tọa độ điểm 3D theo phương 𝑥 phương 𝑦 biểu diễn Hình 10 Sai số khoảng cách Euclid trung bình 0,1 mm Với sai số nhỏ này, thực thao tác kẹp cỏ xác Hình 10 Sai số xác định tọa độ điểm 3D theo phương x phương y; Đường nét đứt thể giá trị trung bình theo phương Kết luận Trong báo này, nhóm tác giả trình bày hệ thống robot diệt cỏ tự động dựa phân tích hình ảnh kỹ thuật học sâu; Đưa thiết kế khung robot theo hệ Prusa với cấu kẹp để nhổ cỏ; Mơ hình YOLO áp dụng để thực phát đối tượng Nhóm tác giả xây dựng nguyên mẫu robot theo thiết kế đề xuất Kết thí nghiệm cho thấy, hệ thống có khả phát đối tượng xác định tọa độ 3D đối tượng với độ xác cao Hướng nghiên cứu phát triển khối định vị định hướng để robot tự hành TÀI LIỆU THAM KHẢO [1] Sinden J, Jones R, Hester S, et al., The economic impact of weeds in Australia Technical report, CRC for Australian Weed Management, 2004, 1-65 [2] Nguyễn Vĩnh Trường, Võ Khánh Ngọc, “Nghiên cứu tính kháng thuốc trừ cỏ chứa hoạt chất pretilachlor quần thể cỏ lồng vực Quảng Trị”, Tạp chí Khoa học Công nghệ Nông nghiệp, Trường Đại học Nông Lâm Huế, 3(1), 2019, 1175-1184 [3] Bawden, Owen, et al., "Robot for weed species plant‐specific management", Journal of Field Robotics, 34(6), 2017, 1179-1199 [4] Yu, Jialin, et al., "Weed detection in perennial ryegrass with deep learning convolutional neural network", Frontiers in Plant Science, 10, 2019, 1422-1431 [5] Chechliński Łukasz, Barbara Siemiątkowska, Michał Majewski, "A System for Weeds and Crops Identification—Reaching over 10 FPS on Raspberry Pi with the Usage of MobileNets, DenseNet and Custom Modifications", Sensors, 19(17), 2019, 3787-3801 [6] Lottes Philipp, et al.,"UAV-based crop and weed classification for smart farming", 2017 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2017 [7] Jiao Licheng, et al., "A survey of deep learning-based object detection", IEEE Access, 7, 2019, 128837-128868 [8] Girshick Ross, et al., "Rich feature hierarchies for accurate object detection and semantic segmentation", Proceedings of the IEEE conference on computer vision and pattern recognition, IEEE, 2014 [9] Girshick Ross, "Fast R-CNN", Proceedings of the IEEE International Conference on Computer Vision, IEEE, 2015, 1440-1448 [10] Redmon Joseph, et al., "You only look once: Unified, real-time object detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2016, 779-788 [11] Farhadi Ali, Joseph Redmon, "Yolov3: An incremental improvement", Computer Vision and Pattern Recognition, 2018, 1-5 [12] Liu Wei, et al., "SSD: Single shot multibox detector", European Conference on Computer Vision, Springer, Cham, 2016, 21-37 [13] Forsyth David A., Jean Ponce, Computer vision: A modern approach, Pearson, 2012 [14] Heikkila Janne, Olli Silvén, "A four-step camera calibration procedure with implicit image correction", Proceedings of IEEE computer society conference on computer vision and pattern recognition, IEEE, 1997