Định Hướng Bằng Thị Giác Máy Tính Cho Thiết Bị Bay Không Người Lái Bay Dọc Theo Hành Lang

Định Hướng Bằng Thị Giác Máy Tính Cho Thiết Bị Bay Không Người Lái Bay Dọc Theo Hành Lang Giảng viên hướng dẫn: TS Ngơ Đình Trí Bộ mơn Kỹ Thuật Hàng Không Trường Đại học Bách Khoa Đại học Quốc Gia Tp.Hồ Chí Minh ngodinhtri@hcmut.edu.vn Hồ Văn Quý, Nguyễn Hữu Cảnh Khoa Kỹ Thuật Giao Thông Trường Đại học Bách Khoa Đại học Quốc Gia Tp.Hồ Chí Minh {1413206; 1410321}@hcmut.edu.vn Tóm tắt – Trong năm gần đây, cơng nghệ máy bay không người lái UAV phát triển cách vượt bậc, đáp ứng nhu cầu cần thiết sống Nhằm phát huy tối đa lợi ích mà UAV mang lại, người ta ln tìm cách để UAV có khả hoạt động độc lập tốt, ổn định mơi trường tự nhiên có nhiều vật cản Nhiều phương án, giải pháp đưa phương pháp có ưu nhược điểm riêng, nhiên, chưa thật phù hợp với mục đích độc lập UAV với cần điều khiển Câu hỏi quy lại cho người Tại người cảm nhận gần tuyệt đối gới xung quanh đơi mắt mình? Đó nhờ người có đơi mắt để cảm nhận chiều sâu Với công nghệ nay, việc dùng camera để đo chiều sâu khả thi, tồn giới hạn định Vì thế, ta xem xét đến lồi trùng, cụ thể ong: chùm mắt ong nằm hoàn toàn bên phân biệt, đó, khả đo chiều sâu chúng bị hạn chế Tuy nhiên, công cụ hiệu mà chúng có, optical flow– dòng quang học Trong đề tài nghiên cứu này, chúng tơi giới thiệu tính hình nghiên cứu ngồi nước thị giác máy tính sau thực tìm hiểu sở lý thuyết dịng quang học, thuật toán, đồng thời giới thiệu dụng cụ, thiết bị q trình tiến hành thí nghiệm để đưa đánh giá khả thực thi máy bay cánh – hexacopter định dạng định Kể từ đó, thị giác máy tính nghiên cứu áp dụng nhiều điều khiển tự động, hệ thống nhận diện, tương tác, định hướng tổ chức thu thập thông tin Thị giác máy tính áp dụng hiệu vào máy bay khơng người lái phương pháp tăng cường tính ổn định độc lập, tránh vật cản, định hướng đường mức độ vi mô, đồng thời hạ cánh tự động theo hệ thống dấu hiệu Hiện nay, có nhiều nhóm nghiên cứu giới đạt thành tựu đáng kể việc điều hướng UAV dựa vào thị giác máy tính Nhóm tác giả Gianpaolo Conte, Patrick Doherty Đại học Linköping, Linköping, SWEDEN nghiên cứu ứng dụng thị giác máy tính lên máy bay không người lái (UAV), nhằm khai thác khả sử dụng hình ảnh khơng để nâng cấp hệ thống dẫn đường cho máy bay không người lái trường hợp hệ thống định vị GPS gặp hạn chế Ngồi nhóm tác giả Andreas Koch, Hauke Wittich, Frank Thielecke German Aerospace Center (DLR), Braunschweig, Germany nghiên cứu sử dụng thuật toán Lucas - Kanade để bù lại sai lệch GPS bổ sung lọc Kalman để kết hợp liệu từ cảm biến Nhóm tác giả Michael Blưsch, Stephan Weiss, Davide Scaramuzza, Roland Siegwart phịng thí nghiệm Autonomous Systems Lab, ETH Zurich, Switzerland nghiên cứu giúp UAV hoạch định lại quỹ đạo hành trình bay dựa vào thị giác máy tính máy tính nhúng Nhóm tác giả S.Hrabar, G.S.Sukhatme, P.Corke, K.Usher, J.Roberts Đại học Southern California, Los Angeles, CA, USA nghiên cứu dòng quang học (optical flow) kết hợp với dòng âm (stereo flow) để điều hướng UAV bay qua hẻm núi Cũng liên quan đến vấn đề định vị cho UAV, nhóm tác giả B.Sinopoli, M.Micheli, G.Donato, T.J.Koo Đại học California, Berkeley, CA, USA nghiên cứu phát I GIỚI THIỆU Bắt đầu từ năm 1960, thị giác máy tính (Computer Vision) nghiên cứu với trí tuệ nhân tạo nhằm giúp máy tính nhận dạng, phân tích hình ảnh, đưa liệu đa chiều từ thực tế thành số liệu triển hệ thống định vị tự động dựa thị giác máy tính Từ giúp điều hướng UAV từ vị trí ban đầu đến vị trí cuối môi trường 3D kết hợp với việc tránh vật cản giảm thiểu chiều dài đường dẫn Ở Việt Nam, thị giác máy tính UAV có bước tiến vượt bậc nhiều lĩnh vực ứng dụng vào sản phẩm thương mại Như lĩnh vực trắc địa đồ, nước ta ứng dụng công nghệ UAV vào việc chụp ảnh số dự án Việt Nam khai thác mỏ, lập hành lang tuyến điện cao thế, đồ địa hình, điển hình Tổng cơng ty Tư vấn Thiết kế GTVT - CTCP (TEDI) sử dụng công nghệ UAV vào Dự án đường cao tốc Hạ Long - Vân Đồn Một số ưu điểm thấy tiến độ thực hiện, quy trình bay, chụp xử lý ảnh nhanh, cho độ xác cao dễ dàng tạo mơ hình liệu số 3D, đặc biệt thích hợp với dự án thành lập đồ khu vực nhỏ, hẹp dạng tuyến công trình giao thơng Ngồi ra, viện Nghiên cứu Phát triển Viettel, Trung tâm khí cụ bay phát triển mẫu VT-Patrol với cự ly hoạt động tầm 50km, trinh sát camera quang hồng ngoại có độ phân giải full HD đặc biệt khả nhận dạng phân biệt mục tiêu cự ly lên đến 600m Tuy nhiên, so với tình hình giới lĩnh vực máy bay khơng người lái Việt Nam hạn chế rào cản cơng nghệ, giá thành Những sản phẩm UAV điều hướng thị giác máy tính ứng dụng cho mục đích qn sự, phịng thí nghiệm lĩnh vực đặc thù trắc địa đồ Hiện nay, việc đầu tư vào dự án cơng nghệ cao trí tuệ nhân tạo Việt Nam cịn hạn chế Chính lí đó, thị giác máy tính, mảng trí tuệ nhân tạo, chưa thể ứng dụng sản phẩm dân dụng Vì đề tài này, chúng tơi nghiên cứu ngồi mục đích giải toán định vị dùng thị giác máy tính cho máy bay khơng người lái (UAV): Dùng Optical Flow để UAV di chuyển hành lang (giữa tường, vách núi) cịn có mục đích khác thúc đẩy nghiên cứu ứng dụng thị giác máy tính máy bay khơng người lái II CƠ SỞ LÝ THUYẾT A Khái niệm nhận diện theo dõi vật thể Tìm kiếm điểm đặc biệt Có nhiều điểm ảnh mà theo dõi Rõ ràng, chọn điểm tường trống khơng dễ dàng để có điểm tương tự khung video Nếu tất điểm tường giống hệt chí giống nhau, khơng có nhiều may mắn theo dõi điểm khung Mặt khác, chọn điểm đặc biệt hội tốt để tìm điểm lần Trong thực tế, điểm chọn phải gần giống nên tham số theo cách cho so sánh với điểm khác hình ảnh khác điểm tốt để theo dõi điểm khơng nên theo dõi Hình Các điểm nên không nên theo dõi Định nghĩa sử dụng nhiều đưa Harris Định nghĩa dựa vào ma trận vi phân bậc hai (∂2x, ∂2 y, ∂x ∂y) cường độ ảnh Thuật ngữ xuất phát từ ma trận Hessian xung quanh điểm, định nghĩa hai chiều bởi: 𝜕2𝐼 𝜕𝑥 𝐻(𝑝) = 𝜕2𝐼 [𝜕𝑥𝜕𝑦 𝜕2𝐼 𝜕𝑥𝜕𝑦 𝜕2𝐼 𝜕𝑦 ] Đối với góc Harris, xem xét ma trận tự tương quan hình ảnh vi phân cấp hai vùng lân cận quanh điểm Ma trận xác định sau: 𝑀(𝑥, 𝑦) ∑ = 𝑤𝑖,𝑗 𝐼𝑥 (𝑥 + 𝑖, 𝑦 + 𝑗) −𝐾≤𝑖,𝑗≤𝐾 ∑ 𝑤𝑖,𝑗 𝐼𝑥 (𝑥 + 𝑖, 𝑦 + 𝑗)𝐼𝑦 (𝑥 + 𝑖, 𝑦 + 𝑗) [−𝐾≤𝑖,𝑗≤𝐾 ∑ 𝑤𝑖,𝑗 𝐼𝑥 (𝑥 + 𝑖, 𝑦 + 𝑗)𝐼𝑦 (𝑥 + 𝑖, 𝑦 + 𝑗) −𝐾≤𝑖,𝑗≤𝐾 ∑ 𝑤𝑖,𝑗 𝐼𝑦 (𝑥 + 𝑖, 𝑦 + 𝑗) ] −𝐾≤𝑖,𝑗≤𝐾 Trong đó, 𝑤𝑖,𝑗 trọng số vùng lân cận, thường áp dụng theo trọng số Gauss Các góc, theo quan niệm Harris, vị trí hình ảnh, nơi ma trận tự tương quan vi phân cấp hai có hai giá trị riêng lớn Về chất điều có nghĩa có kết cấu theo hai hướng riêng lẻ xung quanh điểm đó, giống góc thực có hai cạnh gặp điểm Các vi phân cấp hữu ích chúng khơng đáp ứng với mức phân lớp đồng Định nghĩa có lợi xét trị riêng ma trận tự tương quan, xem xét số không thay đổi phép quay Nói cách khác, định nghĩa quan trọng đối tượng mà theo dõi xoay di chuyển Nguyên lý ban đầu Harris liên quan đến việc xác định định thức H(p), trừ vết H(p) (nhân với số hệ số trọng số), sau so sánh khác biệt với ngưỡng xác định trước Sau đó, Shi Tomasi phát điểm để theo dõi tốt cho kết giá trị nhỏ hai giá trị riêng lớn ngưỡng tối thiểu Phương pháp Shi Tomasi không phù hợp nhiều trường hợp mang lại kết khả quan phương pháp Harris Hàm cvGoodFeaturesToTrack() thực định nghĩa Shi Tomasi, thuận tiện tính vi phân bậc hai cần thiết tính giá trị riêng cần thiết, sau trả danh sách điểm đáp ứng yêu cầu việc theo dõi Góc điểm ảnh phụ Nếu xử lý hình ảnh với mục đích trích xuất phép đo hình học, tính để nhận diện bạn cần phân bổ nhiều giá trị điểm ảnh đơn giản cung cấp cvGoodFeaturesToTrack() Một cách khác để nói điểm ảnh kèm với tọa độ nguyên, yêu cầu tọa độ có giá trị thực Trong mơ hình này, giả sử vị trí góc bắt đầu q gần với vị trí thực tế điểm ảnh phụ Chúng ta kiểm tra vector điểm q kết thúc p Khi p nằm vùng đạt giá trị đỉnh, gradient có Mặt khác, vector q-p dọc theo cạnh gradient p cạnh trực giao với vector q-p Trong hai trường hợp, tích vơ hướng gradient p vector q-p Chúng ta lắp ráp nhiều cặp gradient điểm lân cận p vectơ liên kết q-p, đặt tích vơ hướng chúng giải tập hợp Từ ta giải tốn dễ dàng Hình Phương trình tìm điểm ảnh phụ Tìm giá trị nhỏ ESSD OF ( ESSD OF khác biệt độ sáng hay màu sắc điểm ảnh ảnh) từ suy vector dòng quang học Bằng việc sử dụng dòng quang học, ta nhận diện vật thể tính tốn khoảng cách tương đối từ vật thể tới camera, cụ thể vật cản xa độ lớn dịng quang học nhỏ vật cản gần, dựa ý tưởng ta tính tốn khoảng cách Hình Ví dụ dịng quang học C Điều kiện cách tính dịng quang học Tất phương pháp tính dịng quang học dựa giả thiết quan trọng sau đây: Độ sáng khơng đổi Một pixel từ hình ảnh đối tượng khung cảnh không thay đổi xuất di chuyển từ khung hình sang khung hình khác Đối với hình ảnh màu xám (LK thực màu sắc), điều có nghĩa giả sử độ sáng điểm ảnh không thay đổi theo dõi từ khung hình sang khung hình khác Duy trì thời gian "các chuyển động nhỏ" Sự chuyển động mảng bề mặt thay đổi chậm theo thời gian Trong thực tế, điều có nghĩa gia số thời gian phải nhanh đủ để tương ứng với tủ lệ chuyển động hình ảnh mà đối tượng khơng di chuyển nhiều từ khung hình sang khung hình khác Sự gắn kết không gian Các điểm lân cận khung cảnh thuộc bề mặt, có chuyển động tương tự, hướng tới điểm gần mặt phẳng hình ảnh OpenCV có hỗ trợ hàm tìm điểm ảnh phụ cvFindCornerSubPix() B Giới thiệu dòng quang học Dịng quang học thuật tốn thơng dụng cho việc ước lượng chuyển động tương đối điểm ảnh ảnh ESSDOF ({ui })  [ I1 ( xi  ui )  I ( xi )]2 i Hình Dịng quang học hai chiều Giả thiết: Màu khơng thay đổi: (f: phương trình đặc trưng độ sáng) 𝑓(𝑥, 𝑦, 𝑡) = 𝑓(𝑥 + 𝑑𝑥, 𝑦 + 𝑑𝑦, 𝑡 + 𝑑𝑡) Chuyển động nhỏ: khai triển bậc Taylor 𝜕𝑓 𝜕𝑓 𝜕𝑓 𝑓(𝑥, 𝑦, 𝑡) = 𝑓(𝑥, 𝑦, 𝑡) + 𝑑𝑥 + 𝑑𝑦 + 𝑑𝑡 𝜕𝑥 𝜕𝑦 𝜕𝑡 Từ ta có phương trình ràng buộc điểm ảnh: 𝜕𝑓 𝜕𝑓 𝜕𝑓 𝑑𝑥 + 𝑑𝑦 + 𝑑𝑡 = 𝜕𝑥 𝜕𝑦 𝜕𝑡 𝑓𝑥 𝑑𝑥 + 𝑓𝑦 𝑑𝑦 + 𝑓𝑡 𝑑𝑡 = 𝑓𝑥 𝑢 + 𝑓𝑦 𝑣 + 𝑓𝑡 = 𝐼𝑥 𝑢 + 𝐼𝑦 𝑣 = −𝐼𝑡 Với Ix, Iy, It đạo hàm giá trị đặc trưng độ sáng theo x, y t ⃗ = [𝑢(𝑥, 𝑦), 𝑣(𝑥, 𝑦)]𝑇 dịng quang học 𝑉 vector Tuy nhiên, phương trình ràng buộc chưa đủ, ta nhìn ví dụ phía đây, điểm ảnh ô vuông màu đỏ, có vơ số đường thẳng thỏa mãn phương trình ràng buộc, ta cần đến phương pháp tối ưu hóa đặc biệt, tiếng phương pháp Horn & Schunck Lucas Kanade Ta tìm cực tiều hàm phương trình Euler – Larange đa chiều gồm hàm đây: 𝜕𝐿 𝜕 𝜕𝐿 𝜕 𝜕𝐿 − − =0 𝜕𝑢 𝜕𝑥 𝜕𝑢𝑥 𝜕𝑦 𝜕𝑢𝑦 𝜕𝐿 𝜕 𝜕𝐿 𝜕 𝜕𝐿 − − =0 𝜕𝑣 𝜕𝑥 𝜕𝑣𝑥 𝜕𝑦 𝜕𝑣𝑦 Với L hàm bên tích phân, giải phương trình ta tìm giá trị cực tiểu: 𝐼𝑥 (𝐼𝑥 𝑢 + 𝐼𝑦 𝑣 + 𝐼𝑡 ) − 𝛼 Δ𝑢 = 𝐼𝑦 (𝐼𝑥 𝑢 + 𝐼𝑦 𝑣 + 𝐼𝑡 ) − 𝛼 Δ𝑣 = Ta xấp xỉ số học toán tử Laplace ∆𝑢(𝑥, 𝑦) = 𝑢̅(𝑥, 𝑦) − 𝑢(𝑥, 𝑦) Với 𝑢̅(𝑥, 𝑦) giá trị u trung bình vùng lân cận xung quanh điểm ảnh (x,y) tính tốn phương trình trở thành: (𝐼𝑥2 + 𝛼 )𝑢 + 𝐼𝑥 𝐼𝑦 𝑣 = 𝛼 𝑢̅ − 𝐼𝑥 𝐼𝑡 𝐼𝑥 𝐼𝑦 𝑢 + (𝐼𝑦2 + 𝛼 )𝑣 = 𝛼 𝑣̅ − 𝐼𝑦 𝐼𝑡 Các giá trị u trung bình v trung bình giá trị biết, hàm tuyến tính theo u v giải cho điểm ảnh hình Tuy nhiên, kết điểm ảnh phụ thuộc vào vùng lân cận, ta phải cập nhật kết liên tục để tính cho điểm ảnh kề 𝑢𝑘+1 = 𝑢̅𝑘 − Hình Ví dụ thiếu điều kiện dòng quang học Kỹ thuật theo dõi dày đặc Phương pháp Hurn – Schunck Thuật toán Horn & Schunck giả thuyết tồn dịng quang học ảnh trơn, đó, tính tốn cho biến dạng nhỏ dòng quang học Tồn dịng quang học viết dạng hàm lượng E, sau ta tìm cực tiểu hàm lượng (hàm E không gian 2D): D 𝐸 = ∬[(𝐼𝑥 𝑢 + 𝐼𝑦 𝑣 + 𝐼𝑡 ) + 𝛼 (‖𝛻𝑢‖2 + ‖𝛻𝑣‖2 )]𝑑𝑥𝑑𝑦 Màu không thay đổi Điều kiện trơn 𝛼 gọi số trơn Giá trị 𝛼 lớn dịng quang học trơn 𝐼𝑥 (𝐼𝑥 𝑢̅𝑘 + 𝐼𝑦 𝑣̅ 𝑘 + 𝐼𝑡 ) 𝛼 + 𝐼𝑥2 + 𝐼𝑦2 𝐼𝑦 (𝐼𝑥 𝑢̅𝑘 + 𝐼𝑦 𝑣̅ 𝑘 + 𝐼𝑡 ) 𝛼 + 𝐼𝑥2 + 𝐼𝑦2 Với k+1 vòng lặp tính bới giá trị k trước Trên phương pháp Jacobi, ứng dụng tính cho hệ thống lớn, rời rạc tính tốn cho tất điểm ảnh lúc 𝑣 𝑘+1 = 𝑣̅ 𝑘 − Phương pháp kết hợp khối Thuật toán kết hợp khối cố gắng phân chia hình ảnh trước thành khối sau tính tốn chuyển động khối Các thuật tốn loại đóng vai trị quan trọng nhiều thuật tốn nén video dịng quang học cho thị giác máy tính Bởi thuật toán kết hợp khối hoạt động tập hợp điểm ảnh, điểm ảnh độc lập, “hình ảnh vận tốc” trả thường có độ phân giải thấp so với hình ảnh đầu vào E Thuật toán Lucas – Kanade Thuật toán Lucas – Kanade giả sử thay đổi nội dung ảnh liên tiếp đủ nhỏ không thay đổi vùng lân cận điểm p Do đó, phương trình dịng quang học giả thiết biểu diễn cho điểm vùng lân cận có trung tâm điểm p Phương trình dịng địa phương (𝑉𝑥 , 𝑉𝑦 ) phải thỏa 𝐼𝑥 (𝑞1 )𝑉𝑥 + 𝐼𝑦 (𝑞1 )𝑉𝑦 = −𝐼𝑡 (𝑞1 ) 𝐼𝑥 (𝑞2 )𝑉𝑥 + 𝐼𝑦 (𝑞2 )𝑉𝑦 = −𝐼𝑡 (𝑞2 ) … 𝐼𝑥 (𝑞𝑛 )𝑉𝑥 + 𝐼𝑦 (𝑞𝑛 )𝑉𝑦 = −𝐼𝑡 (𝑞𝑛 ) Trong đó, 𝑞1 , 𝑞2 ,…, 𝑞𝑛 cá điểm nằm vùng lân cận điểm p; 𝐼𝑥 , 𝐼𝑦 , 𝐼𝑡 đạo hàm riêng I theo x, y t tương ứng Dưới dạng ma trận, ta có: Ax=b, đó: 𝐼𝑥 (𝑞1 ) 𝐼𝑦 (𝑞1 ) −𝐼𝑡 (𝑞1 ) 𝑉 (𝑞 ) 𝐼𝑦 (𝑞2 ) (𝑞 ) 𝑥 𝐴 = 𝐼𝑥 ; 𝑥 = [𝑉 ] ; 𝑏 = [−𝐼𝑡 ] … … 𝑦 … −𝐼𝑡 (𝑞𝑛 ) [𝐼𝑥 (𝑞𝑛 ) 𝐼𝑦 (𝑞𝑛 )] 𝑇 𝑇 𝑇 −1 𝑇 Ta có: 𝐴𝑥 = 𝑏 ⇔ 𝐴 𝐴𝑥 = 𝐴 𝑏 ⇔ 𝑥 = (𝐴 𝐴) 𝐴 𝑏 Suy ra: 𝑉𝑥 [𝑉 ] = [ 𝑦 Hình Tháp pyramid thuật tốn Lucas – Kanade F Các thơng số tính tốn từ dịng quang học Ước tính chiều sâu bay thẳng −1 ∑ 𝐼𝑥 (𝑞𝑖 )2 ∑ 𝐼𝑥 (𝑞𝑖 )𝐼𝑦 (𝑞𝑖 ) 𝑖 𝑖 ] ∑ 𝐼𝑦 (𝑞𝑖 )𝐼𝑥 (𝑞𝑖 ) ∑ 𝐼𝑦 (𝑞𝑖 )2 𝑖 tạp gọi dòng quang học kim tự tháp Lucas-Kanade (pyramid Lucas-Kanade optical flow) Chức OpenCV thực Pyramid Lucas-Kanade optical flow cvCalcOpticalFlowPyrLK() 𝑖 − ∑ 𝐼𝑥 (𝑞𝑖 )𝐼𝑡 (𝑞𝑖 ) 𝑖 [ ] − ∑ 𝐼𝑦 (𝑞𝑖 )𝐼𝑡 (𝑞𝑖 ) 𝑖 Bên cạnh đó, để cải tiến thuật toán Lucas – Kanade, người ta them ma trận trị số W (𝑊𝑖𝑖 = 𝑤𝑖 , 𝑊𝑖𝑗 = 𝑣ớ𝑖 𝑖 ≠ 𝑗) vào phương trình trên: WAx=Wb ⇔ 𝑥 = (𝐴𝑇 𝐴𝑊)−1 𝐴𝑇 𝑊𝑏 Chúng ta thấy tất tính tốn thực hàm cvCalcOpticalFlowLK() Đối với hầu hết máy quay video chạy tần số 30Hz, chuyển động lớn khơng liên kết Trên thực tế, dịng quang học Lucas-Kanade khơng hoạt động tốt xác lý này: muốn có vùng lớn để bắt chuyển động lớn, vùng lớn phá vỡ nhiều giả định chuyển động liên kết! Để giải vấn đề này, theo dõi lần phạm vi không gian lớn cách sử dụng hình ảnh kim tự tháp sau tinh chỉnh giả định vận tốc ban đầu cách làm theo phương pháp xuống cấp độ kim tự tháp hình ảnh chúng tơi đến điểm ảnh thơ Do đó, kỹ thuật đề xuất để giải cho dòng quang học lớp sau sử dụng kết ước lượng chuyển động điểm khởi đầu cho lớp Vì vậy, chúng tơi giảm thiểu phạm vi giả định chuyển động theo dõi chuyển động nhanh dài Chức phức Hình Tính khoảng cách đến vật thể dòng quang học Dựa vào độ lớn dòng quang học, ta nhận diện khoảng cách tới vật cản giả sử UAV bay tịnh tiến, không xoay, optical flow hàm vận tốc tới v, khoảng cách tới vật cản D góc hướng so với vật cản α 𝑣 𝑣 𝑂𝐹 = 𝑠𝑖𝑛𝛼 → 𝐷 = 𝑠𝑖𝑛𝛼 𝐷 𝑂𝐹 Ảnh hưởng chuyển động xoay Hình Các góc Roll, Pitch, Yaw quadcopter Do optical flow tính theo giá trị rad/s, dịng quang học diễn tả sau: 𝛾 𝑂𝐹 = ∆𝑡 = 𝑎𝑟𝑐𝑐𝑜𝑠( ⃗⃗⃗⃗⃗, ⃗⃗⃗⃗⃗ 𝑟1 𝑟 ) |𝑟1 |.|𝑟′, 2| ∆𝑡 , với ∆𝑡 = 𝑡2 − 𝑡1 Biểu đồ chiều sâu Hình Mơ hình pinhole với điểm theo dõi p1 điểm p2 tìm thuật tốn Lucas - Kanade Sử dụng mơ hình pinhole camera, ta giải thích bù chuyển động xoay Giả sử ảnh 𝑓1 𝑓2 lấy thời điểm 𝑡1 𝑡2 Từ 𝑡1 tới 𝑡2 , UAV có chuyển động tịnh tiến xoay Các góc thay đổi thời điểm từ 𝑡1 tới 𝑡2 tương ứng ∆Θ, ∆Φ, ∆Ψ cho pitch, roll, yaw Các giá trị góc thay đổi lấy từ IMU thời điểm 𝑡1 𝑡2 Bây giờ, dòng quang học tính từ giá trị pixel 𝑝1 frame 𝑓1 phương pháp tìm góc Shi-Tomasi cộng thêm phương pháp Pyramidal Lucas-Kanade để tìm giá trị pixel 𝑝2 frame 𝑓2 Bằng mơ hình pinhole camera, ta hồn tồn tìm pixel 𝑝1 𝑝2 Bây ta có vector 𝑟1 𝑟2 hệ trục tồn cầu Giả sử pixel 𝑝1 𝑝2 có tọa độ ảnh tương ứng 𝑥1 , 𝑦1 𝑥2 , 𝑦2 , vector tương ứng hệ tọa độ camera là: 𝑥1 𝑟1 = (0) + 𝜆1 (𝑦1 ) ⃗⃗⃗ 𝑓 𝑥2 𝑟2 = (0) + 𝜆2 (𝑦2 ) ⃗⃗⃗ 𝑓 Với f tiêu cự, gốc tọa độ hệ tọa độ ảnh đặt trung tâm ảnh thể hình Bởi camera gắn gần trọng tâm máy bay, ta giả sử hệ tọa độ camera UAV trùng Do viêc máy bay xoay quanh trục giống quay quanh trục camera Do tính giá trị chiều sâu nên người ta mong muốn chuyển động tịnh tiến, pixel 𝑝2 phải vị trí khơng cỏn chuyển động xoay Để đạt điều này, vector 𝑟2 biến đổi thành vector 𝑟⃗⃗⃗2, hệ trục mà x′, y′, ⃗⃗⃗ z′ khơng cịn chuyển động xoay Sử dụng biến đổi góc Euler: ⃗⃗⃗𝑟2, = (0 0 𝑐𝑜𝑠∆Φ 𝑠𝑖𝑛∆Φ 𝑐𝑜𝑠∆Φ −𝑠𝑖𝑛∆Φ) ( 𝑐𝑜𝑠∆Φ −𝑠𝑖𝑛∆Φ 𝑠𝑖𝑛∆Φ 𝑐𝑜𝑠∆Φ ) ( 𝑠𝑖𝑛∆Φ 𝑐𝑜𝑠∆Φ 𝑟⃗⃗⃗1 𝑟⃗⃗⃗2, = |𝑟1 | |𝑟2′, | 𝑐𝑜𝑠𝛾 với γ giá trị góc ⃗⃗⃗ 𝑟1 ⃗⃗𝑟⃗2, −𝑠𝑖𝑛∆Φ 𝑐𝑜𝑠∆Φ 0 0) 𝑟⃗⃗⃗2 Hình 10 Vùng cần quan sát để tính dịng quang học Độ xác tính tốn dịng quang học tùy thuộc vào chuyển động tịnh tiến UAV, từ tính biểu đồ độ sâu xung quanh UAV Sử dụng thông tin giá trị chiều sâu, ta xây dựng đồ theo thời gian khoảng cách tới với vật thể hướng Biểu đồ độ sâu liệu quan trọng cho việc tính tốn tránh vật cản Ở đây, mơi trường kiểm tra định vị hành lang Sử dụng biểu đồ độ sâu, ta định vị độ sâu tường bên Để đảm bảo phần dịng quang học gây tường, dịng quang học tính vài vùng xác định hình Vùng có hình dạng giống tường ảnh Vùng gồm phần 80°, phần bên UAV hình Phần phía trước khoảng 50° ta khơng cần tính tốn, tính tốn thêm vùng tốn thời gian nhớ, ảnh hưởng khơng tốt đến kết Trung bình có khoảng 500 điểm quan sát phát hiện, bên khoảng 250 điểm quan sát Việc tính tốn dịng quang học yêu cầu ta phải có thêm lọc (Kalman filter) để lọc tín hiệu nhiễu Một ngưỡng lọc đơn giản xóa dịng quang học có biên độ lớn ngưỡng Ước lượng sai số Khoảng cách ước tính từ UAV đến điểm 𝑥 ⃗ = (𝑦) Mặt tường thể dạng 𝐷 𝑧 khác, ta quan tâm đến khoảng cách đến tường xung quanh bên, nên ta bỏ qua z Nếu khoảng cách trung bình UAV đến tường bên trái |𝑦 ⃗⃗⃗⃗𝐿 |, tường phải |𝑦 ⃗⃗⃗⃗𝑅 |, sai số so với tâm hành lang là: |𝑦 ⃗⃗⃗⃗𝑅 | − |𝑦 ⃗⃗⃗⃗𝐿 | 𝜀= Để tránh ảnh hưởng sai số khoảng cách |𝑦 ⃗⃗⃗⃗𝐿 |, |𝑦 ⃗⃗⃗⃗𝑅 | tính từ vận tốc v, người t thưởng sử dụng giá trị chuẩn hóa để thuận tiện cho việc điều khiển UAV: |𝑦 ⃗⃗⃗⃗𝑅 | − |𝑦 ⃗⃗⃗⃗𝐿 | 𝜀𝑛 = |𝑦 ⃗⃗⃗⃗𝑅 | + |𝑦 ⃗⃗⃗⃗𝐿 | Sai số chuẩn hóa có giá trị từ −1, UAV tường bên phải, tới +1, UAV bên trái Sai số sử dụng làm tín hiệu đầu vào cho điều khiển định vị UAV lối hành lang III THIẾT BỊ A Máy tính xách tay Trong gian đoạn trình nghiên cứu, tính tốn tổng thể thực máy tính xách tay với Intel Core i3 (2.4GHz) Những tính tốn máy tính xách tay thực phần mềm Visual Studio kết hợp với thư viện mã nguồn mở OpenCV B Máy tính nhúng Raspberry PI Trong giai đoạn 2, máy tính nhúng Raspberry Pi sử dụng để thực tính tốn Raspberry Pi lần đầu mắt vào năm 2012, chạy hệ điều hành Linux Ý tưởng ban đầu dựa việc tạo máy tính giá rẻ cho mục đích học tập, giúp học sinh dễ dàng tiếp cận với tin học Những cần có bàn phím, chuột nguồn 5V dùng Raspberry Pi máy tính Phiên sử dụng đề tài nghiên cứu phiên Raspberry Pi Model B với CPU ARM Cortex-A53 Quadcore 1.2GHz 64-bit, RAM 1GB hỗ trợ chuẩn Wifi 802.11n Bluetooth 4.1 Raspberry Pi sử dụng hệ điều hành Raspbian Hình 11 UAV với dịng quang học di chuyển hành lang Mơ hình thuật tốn Hình 13 Máy tính nhúng Raspberry Pi Mode B Hình 12 Mơ hình thuật tốn tính sai số áp dụng UAV C Camera Trong giai đoạn 1, sử dụng camera từ điện thoại di động Samsung Galaxy J7 Prime để ghi lại hình ảnh sau thực xử lý tính tốn từ hình ảnh thu Góc camera từ điện thoại 60 độ tốc độ ghi hình camera 24fps Trong giai đoạn 2, sử dụng Camera Raspberry Pi V2 8MP Nó phiên Camera Module dành cho Raspberry Pi sử dụng cảm biến ảnh IMX219 8-megapixel từ Sony Camera Raspberry Pi V2 8MP quay video với độ phân giải HD 1080p30, 720p60 640x480p90 Tiêu cự Camera Raspberry Pi V2 8MP 3.04mm Trong đề tài này, dùng Camera Raspberry Pi V2 8MP để quay video độ phân giải 640x480p90 từ xử lý tính tốn theo thời gian thực Hình 14 Camera Raspberry Pi V2 8MP D Cảm biến GY-521 6DOF IMU MPU6050 MPU6050 Trong đề tài nghiên cứu này, cảm biến MPU6050 sử dụng để lấy giá trị góc roll, pitch yaw trình chuyển động camera (hay UAV) từ dùng ma trận biến đổi góc Euler để tính tốn lại giá trị dịng quang học (optical flow) xác MPU6050 cảm biến hãng InvenSense MPU6050 giải pháp cảm biến chuyển động giới có tới (mở rộng tới 9) trục cảm biến tích hợp chip MPU6050 sử dụng công nghệ độc quyền MotionFusion InvenSense chạy thiết bị di động, tay điều khiển giúp kiểm soát cân định hướng chuyển động cho robot, máy bay, drone, hệ thống giữ thăng cho camera/máy ảnh, nhận biết rơi, rung, lắc Hình 15 Cảm biến MPU6050 MPU6050 tích hợp trục cảm biến bao gồm: + Con quay hồi chuyển trục (3 – axis MEMS gyroscope) + Cảm biến gia tốc trục (3 – axis MEMS accelerometer) Ngồi ra, MPU6050 cịn có đơn vị tăng tốc phần cứng chuyên xử lý tín hiệu (Digital Motion Processor - DSP) cảm biến thu thập thực tính tốn cần thiết Điều giúp giảm bớt đáng kể phần xử lý tính tốn vi điều khiển, cải thiện tốc độ xử lý cho phản hồi nhanh Đây điểm khác biệt đáng kể MPU6050 so với cảm biến gia tốc gyro khác MPU6050 kết hợp với cảm biến từ trường (bên ngoài) để tạo thành cảm biến góc đầy đủ thơng qua giao tiếp I2C Các thông số kỹ thuật MPU-6050: + Điện áp sử dụng: 3~5V (DC) + Giá trị Gyroscopes khoảng: +/- 250 500 1000 2000 degree/sec + Giá trị Acceleration khoảng: +/- 2g, +/- 4g, +/- 8g, +/- 16g + Chuẩn giao tiếp: I2C Chuẩn giao tiếp I2C I2C viết tắt Inter-Intergrated Circuit – bus nối tiếp Philips phát triển Ngày nay, I2C sử dụng rộng rãi việc kết nối thiết bị ngoại vi tốc độ thấp vào mạch tích hợp I2C sử dụng đường truyền tín hiệu chiều (một đường clock đường data) I2C hoạt động theo nhiều mode: + Mode chuẩn (standard mode) hoạt động tốc độc 100kbit/s + Mode tốc độ thấp (low-speed mode) hoạt động tốc độ 10kbit/s Điểm mạnh I2C chỗ vi điều khiển dùng để điều khiển mạng thiết bị mà tốn chân vi điều khiển Ước lượng hướng UAV dựa vào MPU6050 a) Ước lượng theo trục MEMS gyroscope Gyroscope từ cảm biến MPU-6050 trả giá trị vận tốc góc UAV Theo chương Mơ hình hóa động lực học, kí hiệu: Ω = (Ωx3 , Ωy3 , Ωz3 ) Ta lại có quan hệ vận tốc thay đổi góc Euler: 𝛺𝑥3 Φ̇ + Ψ̇𝑠𝑖𝑛θ [𝛺𝑦3 ] = [−Ψ̇cosθsinΦ + θ̇cosΦ] 𝛺𝑧3 θ̇sinΦ + Ψ̇cosθcosΦ Để đơn giản, ta giả thuyết góc Euler nhỏ UAV vị trí cân Áp dụng cơng thức tích phân rời rạc theo miền thời gian Từ ta được: 𝑡 Ωx3 (𝑡) Φ(t) [ θ(t) ] ≈ ∑ [Ωy3 (𝑡)] ∆t Ψ(t) 𝑘=0 Ωz3 (𝑡) Với ∆t thời gian lần đọc cảm biến b) Ước lượng theo trục MEMS accelerometer Accelerometer từ cảm biến MPU-6050 trả giá trị gia tốc UAV theo trục, kí hiệu: a/R3 = (ax3 , ay3 , az3 ) a/R2 = 𝑅(𝑡) a/R3 = (0, 0, 𝑔)𝑇 => a/R3 = 𝑅(𝑡)𝑇 a/R2 = 𝑅(𝑡)𝑇 (0, 0, 𝑔)𝑇 Ma trận xoay biến đổi hệ tọa độ R3 R2 theo chương Mơ hình hóa động lực học: 𝑅(𝑡) = 𝑅𝑥 (𝛷(𝑡)) 𝑅𝑦 (𝜃(𝑡)) 𝑅𝑧 (𝛹(𝑡)) Để đơn giản, chương ta sử dụng ma trận xoay R(t) có dạng sau để tính tốn: 𝑅(𝑡) = 𝑅𝑧 (𝛹) 𝑅𝑦 (𝜃) 𝑅𝑥 (𝛷) Vậy ta có: 𝑎𝑥3 𝑎𝑥3 −𝑠𝜃 𝑇 [𝑎𝑦3 ] = 𝑅(𝑡) [ ] => [𝑎𝑦3 ] = 𝑔 [𝑠𝛷 𝑐𝜃 ] 𝑎𝑧3 𝑎𝑧3 𝑔 𝑐𝛷 𝑐𝜃 Giải hệ phương trình ta được: ay3 Φ = arctan ( ) ; θ = arctan az3 𝑎𝑥3 s𝛷 + 𝑐𝛷𝑠𝜃 𝑎𝑦3 𝛹 = − arctan 𝑎 𝑥3 𝑎𝑦3 𝑐𝛷𝑠𝜃 − s𝛷 Vì chưa thể sử dụng camera gắn UAV để thực thí nghiệm Có ý tưởng dùng webcam từ laptop cho laptop chạy dọc theo hàng lang Tuy nhiên, với mơ hình nhỏ việc di chuyển laptop khó khăn khơng hợp lý Từ đó, chúng tơi đưa ý tưởng dùng camera điện thoại cho di chuyển dọc theo hành lang Trong q trình di chuyển, chúng tơi thực quay video lại sau đưa đoạn video vào chương trình để chạy thử tính tốn, từ kiểm tra tính đắn thuật tốn −ax3 ( √ay3 + az3 ) IV THIẾT LẬP THÍ NGHIỆM A Giai đoạn Đầu tiên, chúng tơi sử dụng bìa giấy carton để xây dựng mơ hình hành lang với chiều dài 90cm, chiều rộng 30cm chiều cao 50cm Ở phần cuối hàng lang phần sàn nhà, dùng giấy trắng để phủ kín với mục đích hạn chế bắt điểm ý muốn Ở bên bề mặt hàng lang, sử dụng bút màu để kẻ đường sọc ngang dọc với mục đích tạo thành nhiều vng, từ tạo thành nhiều góc giúp cho việc bắt điểm dễ hàng Hình 17 Chạy chương trình laptop cho thuật tốn theo dõi thưa thớt B Giai đoạn Sau thực nghiệm kiểm chứng thuật toán gian đoạn 1, giai đoạn 2, chúng tơi thực thí nghiệm môi trường hành lang thực tế Hành lang có chiều rộng 2m, chiều cao 4m, chiều dài di chuyển 10m Hành lang có đặc điểm thuận lợi cho việc bắt điểm có cửa song sắt Hình 18 Tổng quan hành lang thực tế (Hình chụp ký túc xá Đại học Bách Khoa) Hình 16 Tổng quan mơ hình hành lang Trong giai đoạn này, thay ghi lại hình ảnh sau xử lý tính tốn máy tính xách tay, chúng tơi sử dụng máy tính nhúng Raspberry Pi Mode B kết shợp với Camera Raspberry Pi V2 8MP cảm biến MPU6050 để ghi lại hình ảnh theo thời gian thực tiến hành xử lý tính tốn máy tính nhúng để đưa kết MPU6050 thiết lập cho gần trạng thái nằm ngang cân bằng, tức góc roll góc pitch gần Camera lắp đặt cho mặt thẳng đứng vng góc với mặt phẳng ngang cảm biến MPU6050 - Có lọc: Hình 19 Tích hợp Camera Module cảm biến MPU6050 vào máy tính nhúng Raspberry Hình 20 Chạy chương trình thời gian thực máy tính nhúng Raspberry Pi V KẾT QUẢ A Giai đoạn Chúng tơi thực nhiều thí nghiệm trình bày vài thí nghiệm đặc trưng báo Sau thực việc ghi lại hình ảnh camera từ điện thoại, chạy chương trình máy tính xách tay để xử lý tính tốn, chúng tơi thu kết quả: Camera hành lang a) Biểu đồ độ lệch theo thời gian: - Chưa có lọc: Trong đó: Đường màu cam đường độ lệch lý thuyết dựa đường camera Đường màu xanh đường độ lệch thực nghiệm tính tốn sau chạy chương trình Đường màu đỏ tượng trưng cho giới hạn hành lang b) Tính tốn sai số Sau chạy chương trình để tính tốn độ lệch thực nghiệm, chúng tơi tính tốn sai lệch trung bình (∆tb) độ lệch theo công thức: ∑𝑁 𝑖=1|(𝑒𝑡𝑛 )𝑖 − (𝑒𝑙𝑡 )𝑖 | ∆𝑡𝑏 = 𝑁 Trong đó: (𝑒𝑡𝑛 )𝑖 độ lệch thực nghiệm khung ảnh thứ i (𝑒𝑙𝑡 )𝑖 độ lệch lý thuyết khung ảnh thứ i 𝑁 tổng số khung ảnh xử lý Ý nghĩa sai lệch trung bình khoảng cách chuẩn hóa trung bình đường độ lệch thực nghiệm so với đường độ lệch lý thuyết Sau tính tốn, ta có kết quả: Thuật tốn Sai lệch trung bình (∆tb) Chưa có lọc 0.160439217 Có lọc 0.064934876 Theo kết tính tốn bên trên, mơ hình hành lang có chiều rộng 30cm, camera di chuyển hành lang, đường độ lệch thực nghiệm cách đường độ lệch lý thuyết khoảng trung bình 10 0.160439217x30 = 4.81317651cm chưa có lọc khoảng trung bình 0.064934876x30 = 1.94804628cm có lọc - Có lọc: Camera sát hành lang phải với tỷ lệ khoảng cách 10cm/20cm a) Biểu đồ độ lệch theo thời gian: - Chưa có lọc: b) Tính tốn sai số Thuật tốn Chưa có lọc Có lọc Camera ziczac – rẽ trái sau rẽ phải a) Biểu đồ độ lệch theo thời gian: - Chưa có lọc: - Có lọc: b) Tính tốn sai số Thuật tốn Chưa có lọc Có lọc Sai lệch trung bình (∆tb) 0.348880014 0.112535006 Sai lệch trung bình (∆tb) 0.321852695 0.097305522 - Có lọc: Camera sát hành lang trái với tỷ lệ khoảng cách 10cm/20cm a) Biểu đồ độ lệch theo thời gian: - Chưa có lọc: b) Tính tốn sai số Thuật tốn Chưa có lọc Có lọc Sai lệch trung bình (∆tb) 0.251347314 0.121054329 11 B Giai đoạn Ở giai đoạn này, thực tính tốn trực tiếp máy tính nhúng Raspberry từ hình ảnh ghi lại Camera Raspberry Pi V2 8MP với thời gian thực Sau thí nghiệm tính tốn, chúng tơi có kết quả: Camera hành lang a) Biểu đồ độ lệch theo thời gian: c) Tính tốn sai số Thuật tốn Khi có MPU6050 VI b) Tính tốn sai số Thuật tốn Khi có MPU6050 Sai lệch trung bình (∆tb) 0.034803559 Camera lệch trái với tỷ lệ 0.66m/1.33m a) Biểu đồ độ lệch theo thời gian: b) Tính tốn sai số Thuật tốn Khi có MPU6050 Sai lệch trung bình (∆tb) 0.038488688 Camera ziczac a) Biểu đồ độ lệch theo thời gian: Sai lệch trung bình (∆tb) 0.045233175 KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN Các thuật tốn đề cập, phương pháp cơng cụ hỗ trợ OpenCV mang tính thực tiễn cao, cho mức độ xác tốt điều kiện lý tưởng Vì thế, việc nghiên cứu áp dụng thị giác máy tính hứa hẹn nhiều triển vọng phát triển chung công nghệ máy bay không người lái Sau thực nhiều thí nghiệm giai đoạn 1, nhìn chung thuật tốn xác, kết thể xu hướng di chuyển camera thời gian xử lý tương đối ổn, áp dụng vào thực tế Khi bổ sung thêm lọc vào thuật tốn độ xác tăng lên đáng kể Tuy nhiên, sai số tương đối lớn hạn chế mơ hình thí nghiệm, yếu tố nhiễu sáng Chúng tơi cịn phát nhược điểm khác thuật tốn khó hoạt động môi trường tối tường hai bên hành lang trơn Sau kết hợp cảm biến MPU6050 với cơng cụ, thiết bị xác vào thí nghiệm giai đoạn 2, sai số giảm đáng kể Tuy nhiên, việc kết hợp cảm biến MPU6050 mức hỗ trợ để thí nghiệm xác Vì vậy, tương lai, công việc cần làm nghiên cứu để lấy liệu từ cảm biến MPU6050 để tác động vào thuật toán thực bù góc xoay giúp kết xác Tiếp theo, cần nghiên cứu để đưa biện pháp khắc phục camera hoạt động môi trường tối tường hai bên hành lang trơn Cuối nghiên cứu kỹ thuật nhúng với mong muốn đưa chương trình lên UAV thực tế để kiểm tra tính thực tiễn 12 LỜI CẢM ƠN Trong trình học tập nghiên cứu đề tài, chúng tơi nhận giúp đỡ nhiệt tình giảng viên hướng dẫn, thầy Ngơ Đình Trí Ngồi định hướng kiến thức, chúng tơi cịn học nhiều thứ quan trọng trình nghiên cứu, kỹ cần thiết sinh viên môi trường động hội nhập Ngồi ra, chúng tơi xin cảm ơn nhà nghiên cứu, tác giả báo mà tham khảo Nhờ báo tham khảo nên q trình nghiên cứu thuận lợi nhiều Do tiếp cận đề tài sớm, nên kiến thức chúng tơi cịn hạn chế, khó tránh khỏi thiếu sót, chúng tơi kính mong nhận góp ý quý thầy cô, thắc mắc anh chị, bạn để đề tài hoàn thiện [6] Learning OpenCV, Gary Bradski and Adrian Kaehler, by O’Reilly Media, 2008 [7] UCF Computer Vision Video Lectures 2012, Dr Mubarak Shah, youtube.com [8] Computer Vision: Algorithms and Applications, Richard Szeliski, 2010 [9] Stochastic processes, estimation, and control, Speyer & Chung, 2008 [10] Nguyễn Vĩnh An, So sánh số phương pháp phát biên, Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 31, Số (2015) 1-7 [11] opencv.org TÀI LIỆU THAM KHẢO [1] Gianpaolo [2] [3] [4] [5] Conte, Patrick Doherty, An Integrated UAV Navigation System Based on Aerial Image Matching, Aerospace Conference, 2008 IEEE, 1-8 March 2008, Big Sky, MT, USA Andreas Koch, Hauke Wittich and Frank Thielecke, A Vision-Based Navigation Algorithm for a VTOL-UAV, AIAA Guidance, Navigation, and Control Conference and Exhibit, 21-24 August 2006, Keystone, Colorado Michael Blösch, Stephan Weiss, Davide Scaramuzza, Roland Siegwart, Vision based MAV navigation in unknown and unstructured environments, 2010 IEEE International Conference on Robotics and Automation (ICRA), 3-7 May 2010, Anchorage, AK, USA S.Hrabar, G.S.Sukhatme, P.Corke, K.Usher, J.Roberts, Combined optic-flow and stereobased navigation of urban canyons for a UAV, (IROS 2005) 2005 IEEE/RSJ, International Conference on Intelligent Robots and Systems, 2-6 Aug 2005, Edmonton, Alta., Canada B.Sinopoli, M.Micheli, G.Donato, T.J.Koo, Vision based navigation for an unmanned aerial vehicle, Proceedings 2001 ICRA, IEEE International Conference on Robotics and Automation, 21-26 May 2001, Seoul, South Korea, South Korea 13 ... Lucas-Kanade (pyramid Lucas-Kanade optical flow) Chức OpenCV thực Pyramid Lucas-Kanade optical flow cvCalcOpticalFlowPyrLK()