Applying object detection and pose estimation algorithms based on visual data to determine relative distances between UAVs and landing target.. Thዠc nghiዉm tዎ ¯ዒ xዞ lý trong mô phውng và
Trang 10ኈI HኞC QUአC GIA TP HCM
Trang 2Cán bዒ ዛዔng dኻn khoa hዌc: ǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǤ Cán bዒ chኸm nhኼ±ͳǣǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǤ Cán bዒ chኸm nhኼ±ʹǣǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǥǤǤǤ
Trang 3NHIϼM VЌ LUϯ$ ϩC
MSHV: 1870056 Ngày, thánǡ£ǣͳͳȂ 05 Ȃ 1995 ዓǣǤ ዏ Chí Minh Chuyên ngành: Kዣ thuኼ0u khin và Tዠ ¯ዒng hóa Mã sዎ: 8520216
Ǥ30Ϲ TÀI: Hዉ thዎ¯ዠ ¯ዒ Øዛዕi lái sዞ dዙng thዋ giác
máy tính (Vision-based Navigation for Automated Landing System of Unmanned Air Vehicles)
NHIϼM VЌ VÀ NЅI DUNG: Phát trin thuኼt toán ዜng dዙng thዋ À¯ nhኼn
dዛዔ ዛዘng kho ዛዓ¯ዎi kዅt hዘp vዔi thuኼ¯u khi¯ xây dዠng hዉ thዎ¯ዠ ¯ዒ Øዛዕi lái
II NGÀY GIAO NHIϼM VЌ: 19 / 08 / 2019
III NGÀY HOÀN THÀNH NHIϼM VЌ: 03 / 01 / 2021
Trang 4LЈI CϪІ
Lዕ¯ኹu tiên, tôi xin gዞi lዕi cዓ ¯ዅn thኹØ0¿À¯ ኼn
¿ዛዔng dኻn, hዑ trዘ thiዅt bዋ và cung cኸp nhዟng kiዅn thዜc hዟu ích giúp tôi có th hoàn thành yêu cኹ¯t ra cዚ¯ tài luኼ£ǤCùng vዔ¯×ǡØ ñዎn gዞi lዕi c ዓ ¯ዅn nhóm nghiên cዜu gዏm b ዛዓ ñ n Trኹn Xuân Tዋ¯ có sዠ hዑ trዘ tích cዠc trong suዎt quá trình thዠc hiዉn nhiዉm vዙ luኼ£ǡti¯ quan trዌng cho sዠ thành công cዚ¯ tài ǡØ ñ gዞi lዕi cዓ
¯ዅn Phòng thí nghiዉm trዠc thuዒc bዒ Ø 0u khin và Tዠ ¯ዒ × ¯ ¯u kiዉn thuኼn lዘi cho tôi thዠc hiዉn tዎ¯ tài nghiên cዜu Mc dù vኻn còn nhiu hn chዅ v mt lý luኼn và thዠc nghiዉǡ¯ ñ¯¯ዛዘc nhዟng thành công nhኸ¯ዋnh,
¯ዛዘc nhዟng mዙ ² ዓ¯t ra ዖ nhiዉm vዙ luኼ£Ǥ Ø
¯ዅn tዝ sዠ nዑ lዠc, cዎ gኽng cዚa tኸt c các thành viên trong nhóm nghiên cዜ ñ
ዛዠ hዑ trዘ tích cዠc v mt kiዅn thዜc, kinh nghiዉm cዚa thኹy Trí và các ging viên trong bዒ Ø0u khin và Tዠ ¯ዒng hóa Mዒt lኹn nዟa, tôi xin gዞi lዕi cዓ
¯ዅn tኸt c nhዟዛዕi thኹǡዛዕi b¯ ዑ trዘ ¯ îØዎt quá trình thዠc hiዉ¯ tài luኼ£Ǥ
Trang 5TÓM TϰT LUϯ$
0 ¯t ra mዙc tiêu xây dዠng hዉ thዎ ¯ ዠ ¯ዒng cho máy bay không
ዛዕi lái ዜng dዙng thዋ giác máy tính Mዙ ²¯ ¯ዛዘc phân ra làm 3 nhiዉm vዙ chính bao gዏm:
1 ኮng dዙng thuኼt toán nhኼn dዛዔ ዛዘng dዠa trên thông tin tዝ hình
¯ ¯ዋnh kho ዛዓ¯ዎi giዟØ¿Øዛዕi lái
Hዉ thዎ¯ዠ ¯ዒng xây dዠ¯ tài sዄ ¯ዛዘc kim chዜng ዖ c mô hình
mô phውng dዠa trên công cዙ Gazebo Simulator và các thí nghiዉm bay thዠc tዅ trên mô hình máy bay bዎn cánh tዠ thiዅt kዅ dዠa trên khung S500
ABSTRACT
The main purpose of this thesis is constructing automated landing system for unmanned air vehicles (UAVs) based on vision-based algorithms This target is divided into three sub-tasks, including:
1 Applying object detection and pose estimation algorithms based on visual data to determine relative distances between UAVs and landing target
2 Applying control algorithms that making UAVs capable of automatically landing on the target in both static and moving cases
3 Establishing fully autonomous landing system that are flexible and reliable based on Robot Operating System (ROS) platform
The autonomous landing system in this work will be validated for both simulated model in Gazebo Simulator tool and a series of real flight tests on customized quadcopter based on S500 frame kit
Trang 6LЈI CAM KϸT
Ø ¯ ኼ £ DzHЪ thЯ ¯ с ¯гng cho máy bay không
мжi lái нng dкng thЬ giác máy tínhdz Ø¿² ዜu cዚØǡዛዔi sዠ
ዛዔng dኻn cዚa TiዅÂØ0¿Àዠ cዒng tác cዚa nhóm nghiên cዜu gዏm bn
ዛዓñn Trኹn Xuân Tዋnh Kዅt qu nghiên cዜu trong luኼ£trung thዠ ዛ¯ዛዘc công bዎ ¯ tài nghiên cዜu cዚa tác gi khác Các tài liዉ¯ዛዘc sዞ dዙ¯ tài có nguዏn gዎc, xuኸt xዜ Ù¯ዛዘc trích dኻ¯ኹy
¯ዚ, rõ ràng trong phኹn Tài liዉu tham kho
Ǥ ǡǥǤǤǥǤǤ£ǥǤǤ
(Hб tên và chф ký)
Trang 7MЌC LЌC
1.1 Lý do chዌ¯ tài 1
ͳǤʹǤ0ዎዛዘng và phm vi nghiên cዜu 2
ͳǤ͵ǤzÂዌc và thዠc tiወn 2
1.4 Mዙ ²¯ tài 3
2.1 Hዉ thዎ¯ዋnh vዋ ዜng dዙng thዋ giác máy tính 4
2.1.1 Nhኼn dng vኼt th (Object Detection) 4
ʹǤͳǤʹǤክዔ ዛዘng trng thái (Pose Estimation) 5
2.2 Thuኼ¯u khi¯ዠ ¯ዒng 7
2.3 ኮng dዙng xây dዠng hዉ thዎ¯ዠ ¯ዒng 8
2.4 Nዒi dung nghiên cዜu 9
3.1 Hዉ thዎ¯ዋnh vዋ ዜng dዙng thuኼt toán thዋ giác máy 11
3.1.1 Nhኼn d¯ዎዛዘng (target detection) 11
͵ǤͳǤʹǤክዔ ዛዘng trng thái vኼt th (pose estimation) 15
3.1.3 Thuኼt toán hኼu xዞ lý (post-processing) 27
3.2 Xây dዠng thuኼ¯u khi¯ዠ ¯ዒng 30
3.2.1 Giዔi thiዉu mô hình bay 4 cánh (quadcopter) 30
3.2.2 Thuኼ¯u khi¯ዠ ¯ዒng 30
3.3 Xây dዠng hዉ thዎ¯ዠ ¯ዒng hoàn chዊnh 34
3.3.1 Giዔi thiዉu nn tng ROS 34
3.3.2 Kiዅn trúc hዉ thዎ¯ዠ ¯ዒng 35
3.3.3 Quy trình ho¯ዒng cዚa hዉ thዎ¯ዠ ¯ዒng 36
ͶǤͳǤዛዓዠc nghiዉm 38
4.1.1 Giዔi thiዉዛዓዜc thዠc nghiዉm 38
Trang 84.1.2 Thiዅt kዅ hዉ thዎng (phኹn cዜng Ȃ phኹn mm) 39
4.2 Kዅt qu ¯ 44
4.2.1 Mô hình mô phውng 44
4.2.2 Thí nghiዉm bay thዠc tዅ 56
4.2.3 Thዠc nghiዉm tዎ ¯ዒ xዞ lý trong mô phውng và thዠc tዅ 63
Trang 9DANH MЌC HÌNH ϪNH
Hình 1: ኮng dዙØዛዕi lái (nguዏn: Internet) 1
Hình 2: Hዉ thዎ¯ዠ ¯ዒng ዜng dዙng thዋ giác máy 3
Hình 3: Thuኼ¯ዋnh vዋ ዜng dዙng thዋ giác máy 11
Hình 4: Marker tዠ thiዅt kዅ 12
¿ͷǣዓ¯ዏ thuኼt toán nhኼn dng 13
Hình 6: Kዣ thuኼt pyramid image (trái) và chዌn vùng nh quan tâm (ROI) (phi) 14
Hình 7: Mô hình pinhole camera (nguዏn: opencv.org) 15
¿ͺǣ¿ዛዔ ዛዘng thông sዎ camera 17
Hình 9: Quy trình phn chiዅ¯ዎዛዘng vào mt phng nh 18
Hình 10: Ma trኼn Homography (nguዏn: opencv.org) 18
Hình 11: Mô hình nh phn chiዅ¯ዎዛዘng (nguዏn: [33]) 23
Hình 12: Mô hình mô t các hዉ trዙc tዌ¯ዒ ¯ tài 28
Hình 13: B¯u khin chiu di chuyn cዚa quadcopter theo tዎ ¯ዒ ¯ዒ ዓ 30
Hình 14: Hዉ thዎ¯u khin phân lዔp (multi-level control) 31
¿ͳͷǣዓ¯ዏ ¯u khin Pixhawk (nguዏn: ardupilot.org) 32
Hình 16: Thuኼ¯u khi¯ዒ cao theo mዜc 33
Hình 17: Logo phiên bn ROS Kinetic (nguዏn: ros.org) 34
¿ͳͺǣዓ¯ዏ tዐng quan hዉ thዎ¯ዠ ¯ዒng 35
¿ͳͻǣዓ¯ዏ quy trình ho¯ዒng cዚa hዉ thዎ¯ዠ ¯ዒng 36
Hình 20: Mô hình mô phውng hዉ thዎng trong công cዙ Gazebo Simulator 39
Hình 21: Phኹn mm Mission Planner (nguዏn: ardupilot.org) 40
Hình 22: Giao thዜc MAVLink trên mô hình bay thዠc tዅ (nguዏn: ardupilot.org) 41
¿ʹ͵ǣዓ¯ዏ kዅt nዎi phኹn cዜng 41
Hình 24: Mô hình máy bay 4 cánh (quadcopter) 43
Hình 25: Mô hình bዒ ¯ዋ trí, vኼn tዎc xe 43
¿ʹǣ0ዜng hዉ thዎng theo trዙc-x cዚa thí nghiዉm mô phውng giዟ vዋ trí 45
¿ʹǣ0ዜng hዉ thዎng theo trዙc-y cዚa thí nghiዉm mô phውng giዟ vዋ trí 46
Trang 10¿ʹͺǣ0ዜng hዉ thዎng theo trዙc-x cዚa thí nghiዉ¯¯ዜng yên 47
¿ʹͻǣ0ዜng hዉ thዎng theo trዙc-y cዚa thí nghiዉ¯¯ዜng yên 48
¿͵Ͳǣ0ዜng hዉ thዎng theo trዙc-z cዚa thí nghiዉ¯¯ዜng yên 48
Hình 31: Giá trዋ ¯ዒ cao - vኼn tዎ ¯Øው¯²ዣ ¯o thng 50
Hình 32: Quዣ ¯o di chuyn khi mô phው¯²ዣ ¯o thng 50
¿͵͵ǣ0ዏ thዋ sai sዎ khi mô phው¯²ዣ ¯o thng 51
Hình 34: Giá trዋ ¯ዒ cao - vኼn tዎc bãi ¯Øው¯²ዣ ¯o phዜc tp 52
Hình 35: Quዣ ¯o di chuyn khi mô phው¯²ዣ ¯o phዜc tp 53
¿͵ǣ0ዏ thዋ sai sዎ khi mô phው¯²ዣ ¯o phዜc tp 53
Hình 37: Giá trዋ ¯ዒ cao - vኼn tዎ ¯Øውng bám theo quዣ ¯o tròn 55
Hình 38: Quዣ ¯o di chuyn khi mô phውng bám theo quዣ ¯o tròn 55
¿͵ͻǣ0ዏ thዋ sai sዎ khi mô phውng bám theo quዣ ¯o tròn 56
Hình 40: Thዞ nghiዉm bay thዠc tዅ 57
Hình 41: Giá trዋ ¯ዒ cao-vኼn tዎ ¯ዖ thዠc nghiዉm bám theo quዣ ¯o tròn 58
Hình 42: Quዣ ¯o di chuyn ዖ thዠc nghiዉm bám theo quዣ ¯o tròn 58
¿Ͷ͵ǣ0ዏ thዋ ¯ዜng vኼn tዎc ዖ thዠc nghiዉm bám theo quዣ ¯o tròn 59
Hình 44: Giá trዋ ¯ዒ cao-vኼn tዎ ¯ዖ thዠc nghiዉ¯ዣ ¯o thng 60
Hình 45: Quዣ ¯o di chuyn ዖ thዠc nghiዉ¯ዣ ¯o thng 60
Hình 46: Giá trዋ ¯ዒ cao-vኼn tዎ ¯ዖ thዠc nghiዉ¯ዣ ¯o phዜc tp 62
Hình 47: Quዣ ¯o di chuyn ዖ thዠc nghiዉ¯ዣ ¯o phዜc tp 62
¿Ͷͺǣ0ዏ thዋ tዎ ¯ዒ xዞ lý cዚ¯ tài luኼ£ 63
¿Ͷͻǣ0ዏ thዋ so sánh thዕi gian chi tiዅt giዟ¯ tài luኼ£ȋØውng) 64
¿ͷͲǣ0ዏ thዋ so sánh thዕi gian chi tiዅt giዟ¯ tài luኼ£ȋዠc nghiዉm) 65
Hình 51: Hዒi nghዋ Khoa hዌc máy tính và Công nghዉ thông tin 2020 (NICS) 68
Trang 11DANH MЌC BϪNG BIϺU
Bng 1: Bng tዊ lዉ ¯u chዊnh cho thông sዎ PID 33
Bng 2: Tዐng quan chዜ £ኹn cዜng 42
Bng 3: So sánh sai sዎ trong thí nghiዉm giዟ vዋ trí giዟa hai hዉ thዎng 46
Bng 4: So sánh sai sዎ trong thí nghiዉ¯¯ዜng yên giዟa hai hዉ thዎng 48
Bng 5: So sánh tዎ ¯ዒ xዞ lý giዟ¯ tài luኼ£ȋዛዕng hዘp tዎዛȌ 64
Trang 12DANH MЌC TА VIϸT TϰT PID = Proportional Ȃ Integral Ȃ Derivative = Bዒ ¯u khin vi tích phân tዊ lዉ ROS = Robot Operating System = Hዉ thዎng ho¯ዒng cho robot
LKF = Linear Kalman Filter = Bዒ lዌc Kalman tuyዅn tính
PWM = Pulse Width Modulation = 0u chዅ ¯ዒ rዒng xung
RMSE = root mean square error = Sai sዎ ዛዓ¿
Trang 13²¯Ч tài: Hዉ thዎ¯ዠ ¯ዒ Øዛዕi lái sዞ dዙng thዋ giác máy
tính (Vision-based Navigation for Automated Landing System of Unmanned Air Vehicles)
1.1 Lý do chЭ¯Ч tài
Hiዉ ǡ Ø ¿ Ø ዛዕ ¯ ¯ዛዘc sዞ dዙng trong rኸt nhiu ዜng dዙng ዖ Âዠ ዛǣኼn chuyn hàng hóa, xây dዠng b¯ዏ ¯ዋa hình, tìm kiዅm cዜu hዒǥ¿ኼǡ¯ ¯ ×ኸt nhiu nghiên cዜu v xây dዠng các
hዉ thዎng tዠ ¯ዒ Ø ¿ Ø ዛዕ ¯ phዙc vዙ ዛዕi trong nhiÂዠc cዚa cuዒc sዎng Tuy nhiên, giዔi hn v mt kዣ thuኼt và yêu cኹu v các tiêu chuኺ ¯ n chዅ kh £ ዠ ¯ዒng hóa cዚa các mô hình bay không
ዛዕi lái trong nhዟng nhiዉm vዙ ¯ዓn
Mዒt trong nhዟng yêu cኹu phዜc t ¯Ö ውi có sዠ hiዉn diዉn cዚ ዛዕi trong các hዉ thዎng tዠ ¯ዒng cho máy ØዛዕDz £¯ዠ ¯ዒdzǤMዒt cách cዐ ¯n, các ዜng dዙ¯ዠ ¯ዒዛዕng sዞ dዙng tín hiዉu GPS làm thông
¯ዋnh vዋ giዟ ¯ዙc tiêu mዒt cách hiዉu qu và chính xác Tuy nhiên, trong mዒt sዎ ዛዕng hዘp khi tín hiዉu GPS suy gim hoc hn chዅ do vኼt cn (trong nhà, giዟa rዝ ǥȌ¿² ኹu xây dዠng thuኼt toán ¯ዋnh vዋ mዔi có kh £nhኼn d ¯ዋnh vዋ trí cዚa ¯ዙc tiêu là mዒt nhiዉm vዙ cኹn thiዅt và thiዅt thዠ Ǥዛዓi quyዅt tዎዛ ኸ¯ này là ዜng dዙng thuኼ¯ዋnh vዋ bኾng thዋ Àǡ¯ ñ À¯¯ tài nghiên cዜዛዔ¯ዅn
Hình 1: ኮng dዙØዛዕi lái (nguዏn: Internet)
Trang 14ͳǤʹǤ0Ямйng và phЗm vi nghiên cнu
0Ямйng nghiên cнu
Mô hình máy bay 4 cánh (quadcopter) vዔi các thiዅt bዋ ngoi vi (camera,
bዒ ¯u khin bay, cm biዅǥȌዠ²ͷͲͲ ¯ዙ ²¯ዛዘc
¯ኸu bዖi marker tዠ thiዅt kዅ
PhЗm vi nghiên cнu
Mô hình mô phውng trong công cዙ Gazebo Simulator và các thዞ nghiዉm
bay thዠc tዅ ¯ዎi vዔ ¯ ዙc tiêu ዛዕng hዘp ¯ዜng yên và di
chuyn trên nn sân cው ዛዕ0i hዌc Bách Khoa
+ Chዜng tው kh £ዙng thuኼt toán thዋ giác máy phዜc tp trên hዉ thዎng
ﯯዛዘc các yêu cኹ ዓn v ¯u khin vዔi thዕi gian thዠc
Trang 151.4 Mк ²¯Ч tài
0 tài nghiên cዜu ¯t ra mዙc tiêu xây dዠng hዉ thዎ¯ዠ ¯ዒng cho mô hình
Øዛዕi lái vዔi nhዟng tiêu chí sau:
+ Xây dዠng hዉ thዎ¯ዋnh vዋ có kh £ኼn dዛዔ ዛዘng trng thái cዚ ¯ዙc tiêu vዔi tኹm ho¯ዒng rዒ¯ዒ cao tዝ ͵Ͳ ¯ዅn 8m dዠa trên
mô hình marker tዠ thiዅt kዅ và thuኼዛዔ ዛዘng Levenberg-Marquardt
+ Dዠa trên thông tin ዛዔ ዛዘng tዝ hዉ thዎ¯ዋnh vዋ, mô hình bay có kh £
¯ À ² ¯ዙ ² ዛዕng hዘp di chuyn (sai sዎ 25cm)
¯ዜng yên (sai sዎ 15cm)
+ Thiዅt kዅ hዉ thዎ¯ዋnh vዋ ¯u khin hoàn toàn trên máy tính nhúng mà không có sዠ can thiዉp cዚa các thiዅt bዋ bên ngoài (laptop, tay cኹ¯u khiǥȌ¯ዜ¯ዛዘc yêu cኹu xዞ lý thዕi gian thዠc ዖ mዜc 20Hz
0 tài luኼ£ sዠ tiዅp nዎi cዚa mዒ¯ ዛዓዠ ¯ ዠc hiዉn cዚa nhóm nghiên cዜu vዔi nhዟng ci tiዅዛ£ዎ ¯ዒ xዞ lý, hiዉu chዊnh thuኼ¯ዜ ዛዕng hዘp thዠc nghiዉm phዜc tǥǤዟng ci tiዅn này sዄ ¯ዛዘc làm rõ
ዓ ዅt qu thዠc nghiዉዛዓng 4 cዚa tài liዉu này
Hình 2: Hዉ thዎ¯ዠ ¯ዒng ዜng dዙng thዋ giác máy
Trang 16ዛ¯ ¯ cኼp ዖ Cዛዓͳǡ¯ tài nghiên cዜu tኼp trung vào vኸ¯ xây
dዠng hዉ thዎ¯ዠ ¯ዒ Ø¿Øዛዕi lái Yêu cኹu này sዄ
¯ዛዘc phân tách thành 3 nhiዉm vዙ chính bao gዏm:
+ Thiዅt kዅ hዉ thዎ¯ዋnh vዋ sዞ dዙng thዋ giác máy tính
+ Áp dዙng thuኼ¯u khi¯ዠ ¯ዒng
+ Xây dዠng hዉ thዎ¯ዠ ¯ዒng hoàn chዊnh tዝ các thành phኹ ዓn
2.1 HЪ thЯ¯Ьnh vЬ нng dкng thЬ giác máy tính
Hዉ thዎ¯ዋnh vዋ ዜng dዙng thዋ À¯ዛዘc cዙ th hóa thành bài toán
ዛዔ ዛዘng trng thái vኼt th (pose estimation) trong hዉ trዙc cዎ ¯ዋnh hoc hዉ trዙc
ዛዓ¯ዎi so vዔi vኼt mዎ ዛዔ Ǥ0ዒt bài toán cዐ ¯¯ዛዘc phát trin tዝ khi nhዟng ዜng dዙ¯ኹu tiên v thዋ À¯ዕi (giዟa thዅ kዊ XX) và ci thiዉn dኹn theo thዕi gian v chኸዛዘǡዛዓ thዕi gian tính toán Bài toán này gዏm 2 yዅu tዎ ዓn gዏm: nhኼn dng vኼt th ȋ Ȍዛዔ ዛዘng trng thái (pose estimation)
¯ ¯ዋ¯ዎዛዘ ÖÖ¯ዏ¯Ȃ trኽng xen kዄ, Tran Le Anh [5]
áp dዙng kዣ thuኼt nhኼn dng màu sኽc và hình tÖ¯ ¯ዋ¯ዎዛዘǥዛዓ
¯¯ዛዘc tዎ ¯ዒ xዞ ý ዛ ׯm hn chዅ là dወ ዓዛዕng hዘp
Trang 17nhኼn d ¯ ¯m phân biዉ ¯ዓ n dወ bዋ trùng lp giዟ Dz¯ዎi
ዛዘdzኼt th xung quanh
рисc 2: NhСn dЛ¯Ц ¯Ьm mсc thНp (low-level features detection)
ዛዓ ዜc này ዜng dዙng các thuኼt toán tìm kiዅm nhዟ Dz¯ ¯dzȋȌዛዓ¯ዏng giዟa khung nh hiዉn ti và nh tham chiዅ¯ ¯ዋnh sዠ tዏn ti cዚDz¯ዎዛዘdzǤ Dz¯ ¯dz¯ዛዘc sዞ dዙ¯ nhኼn d ¯m góc ȋ¯m có sዠ ¯ዐ ¯ዒt ngዒt cዚ ዛዕ ¯ዒ sáng, ví dዙ: Harris corners [6], thuኼt toán SIFT [7], thuኼ ȏͺȐǥȌǡ ዎ màu sኽc (color histogram, ví dዙ:
ȏͻȐǥȌ ዋ phân (ví dዙǣȏͳͲȐǡ ȏͳͳȐǥȌǤዛዓáp này trích xuኸt nhዟ ¯ ¯m riêng biዉt cዚ Dz¯ዎ ዛዘdz ² × ¯ዒ tin cኼy cao
ዛ¯ዏng thዕ ñ£ዕi gian xዞ lý mዒ ¯
рисc 3: NhСn dЛ¯Ц ¯Ьm mсc cao (high-level features detection)
Mዒt hn chዅ nhው cዚ ዛዓ ዜc 2 là viዉc kh ¯ዋnh sዠ tዏn ti cዚ Dz¯ዎi
ዛዘdz ዊ dዠa trên mዒt nh tham chiዅu nên không có kh £À ዔi sዠ
¯ዐi cዚØዛዕǡ¯ኸ¯ ዛዓዜc 3 có kh £i quyዅt
ዛዓ ዜc này áp dዙng kዣ thuኼt huኸn luyዉn dዠa trên mዒt tኼp nh tham chiዅu
ዛዔi nhዟ¯u kiዉØዛዕ ¯ ¯ዛ Dz¯ dzȋ-level features) cዚa toàn bዒ tኼp nh huኸn luyዉn Tዝ ¯×ǡዙng tìm kiዅm sዠ tዏn ti cዚa Dz¯ dznh hiዉn ti Mዒt sዎ thuኼt toán tiêu biዛǣ -like
¯m khi có kh £ኼn dng các vኼt th phዜc tp vዔ¯ዒ tin cኼ ዛዋ hn chዅ trong kh £ዞ lý thዕi gian thዠc
2.1.2 Ўе мйng trЗng thái (Pose Estimation)
¯t ra yêu cኹዛዔ ዛዘng trዛዓ¯ዎȋዛዔng / khong cách) cዚa vኼt th này so vዔi vኼt th kia trong không gian 3 chiu Xét trong yêu cኹu
¯ tài, ta cኹ ¯ዋnh kho Ȁዛዔng cዚDz ¯ዙ ²dzዉ trዙc tዌa
¯ዒ gኽn vዔi Dz dzǤዠa trên mô hình pinhole camera vዔi các thông sዎ nôi ti (tiêu cዠc, tâm nh, hዉ sዎ tዊ lዉȌ¯ዛዘ ዛዔ ዛዘng tዝ Matlab toolbox (xây dዠng trên
Trang 18công trình nghiên cዜu cዚ ȏͳͷȐȌ ¯ዛዓዜng trong mt phng nh (2D) / không gian thዠ ȋ͵Ȍ¯ዛዘ ¯ዋnh tዝ Dzኼn dng vኼt thdzǤ0ኹu ra cዚa bài toán này gዏm ma trኼn xoay (rotation matrix) và vector tዋnh tiዅn (translation
Ȍ ¯ chuy ¯ዐi hዉ trዙc tዌ ¯ዒ tዝ tâm cዚ Dz ¯ ዙ ²dz ዚa
Dz dzǤMዒt cách tዐng quátǡ ×ʹዛዓዛዕ¯ዛዘc áp dዙ¯ gii quyዅt bài toán này, bao gዏm:
рисc 1: Tính toán trхc tiЪp (direct computation)
ዛዓዜc này tính toán thông sዎ ዛዔ ዛዘng dዠ²ዛዓ¿hình hዌc trong không gian 3 chiu xây dዠng tዝ mô hình pin Ǥዛዓ này yêu cኹu tዎi thiu tዌ¯ዒ ͵¯²¯ዎዛዘng phng và tዌ¯ዒ nh cዚa chúng trong mt phng ʹ¯ có th lኼp và giዛዓ¿hình hዌc Bài toán này
¯ዛዘc gዌDz -n-ProdzȋȌǡ¯×α͵ǡͶǡͷǥ¯¯ዛዘ î¯
ዛዔ ዛዘng Bài toán sዞ dዙ¯¯ዛዘc khái quát hóa tዝ tዐ hዘp các hዉ À¯m kዅt hዘp thuኼt toán chዌn lዠ ¯ Ǥ Mዒt sዎ công trình nghiên cዜ ¯n hình áp dዙዛዓዛǣGao [16] áp dዙng cho hዉ ͵¯m, Abidi [17] áp dዙng cho
hዉ Ͷ¯m, Quan [18] áp dዙng cho hዉ ͷ¯m, Fischer [19] và Lepetit [20] áp dዙng cho hዉ ¯mǥ
ዛዓዜ ×ዛ¯m nhዕ sዠ ¯ዓn và tዎ ¯ዒ Àዓ
so vዔዛዓዜc tዎዛ×ዉ sዎ Tuy nhiên, hn chዅ cዚዛዓthiዅu sዠ ዐ¯ዋnh và yêu cኹ¯ኹu vào khኽt khe bዖi vì nዒi dung cዚዛዓ
là sዠ tính toán trዠc tiዅp dዠa trên tዌ¯ዒ ¯m nh nên khi có sዠ ¯ዐi nhው ዖ ngõ vào thì ngõ ra sዄ bዋ ¯ዐi theo vዔ²¯ዒ lዔn Ngoài ra, mዒt sዎ ràng buዒc hình hዌc làm cዛዓዖ nên khá hn chዅ trong mዒt sዎ ዛዕng hዘp
¯c biዉዛt phng nh song song vዔi mt phDz¯ዎዛዘdzǤ
рисc 2: Tгр×Ю sг (optimization method)
ዛዓዜc này áp dዙng các thuኼt toán tዎዛዞ dዙዛዓዜc lp ¯ tዎi thiu hóa hàm sai sዎ dዠa trên cách tìm cዠc ti ¯ዋ ዛዓ Ȁ ዙc khi gradient cዚa hàm sai sዎ bኾØǤ0 tài xây dዠng hàm sai sዎ theo các thông sዎ
Trang 19ዛዔ ዛዘng và tዎዛ×ዟng thông sዎ ¯×ዠa trên các thuኼt toán lp Mዒt sዎ thuኼt
ዛዓ ×ዛ¯m ዖ sai sዎ tዎዛÀዐ¯ዋ ዓዔi
ዛዓዜc tính toán trዠc tiዅp Tuy nhiên, hn chዅ cዚዛዓኾm ዖ thዕi gian tính toán chኼ¯ዒ chính xác cዚa tr¯ኹu tiên Nዅu tr¯ኹu ׯዒ chính xác cao thì sዎ lኹn lp sዄ gi¯ ¯¯ዛዘc sai sዎ tዎዛዛዘc li, nዅu
¯ዒ chính xác cዚa tr¯ኹu không cao thì sዎ lኹn l£²±ዕi gian
À£ ኸዛዘng tính toán bዋ gim
2.2 ThuН¯Чu khiШ¯с ¯гng
Mዒt cách tዐǡ¯ ¯ ×ኸt nhiu các thuኼ¯u khin có kh
£ዙng cho yêu cኹ¯ዠ ¯ዒng, tùy thuዒc vào cách xây dዠng mô hình toán cዚ¯ዎዛዘng và yêu cኹu v chኸዛዘ¯u khin Xét ²¯c tính cዚ¯ tài luኼn
£ǡ ኹn áp dዙ ዛዓ ¯u khin không dዠa theo mô hình toán cዚ ¯ዎi
ዛዘng mà chዊ phዙ thuዒc vào sዠ ¯ዐi cዚa giá trዋ ¯ኹu vào là sai sዎ khong cách giዟa mô hình bay so vዔ ¯ዙc tiêu Dዠa trên yêu cኹ¯×ǡ ×ʹhuኼ¯u khin có kh £¯ዜng mዒt cách tዎt nhኸt và dወ thዠc hiዉ¯×ǣ¯u khin logic
mዕ ȋ Ȍ¯u khin PID
ThuСͷǣ0Ыu khiЬn logic mк (Fuzzy logic)
0ኼ¯u khin ra quyዅ¯ዋnh dዠa trên sai sዎ hiዉn t¯ዒ biዅn thiên sai sዎ kዅt hዘp vዔi quy luኼt phân bዎ ¯c tính dዠa trên kinh nghiዉm kim chዜng thዠc tዅ dዠa trên thuኼt toán Mamdani [23] hay Sugeno [24] Mዒt vài hዉ thዎ¯ዠ
¯ዒ¯ ዙ دu khi ዛǣ-Mendez [25], Shubao ȏʹȐǥ n chዅ lዔn nhኸt cዚa thuኼt toán này nኾm ዖ sዠ thiዅu sót v kinh nghiዉm kim chዜng khiዅn tኹm ho¯ዒng khi áp dዙng thዠc tዅ bዋ giዔi h ¯ዎዛዘ¯ዜng yên hoc di chuyn vዔi tዎ ¯ዒ không quá lዔn
ThuСǣ0Ыu khiЬn PID
0ኼ¯u khi¯n dዠa trên sai sዎ hiዉn tǡ¯ዒ biዅn thiên sai sዎ và sዠ À ñዎ theo thዕዛዓዜng vዔi bዒ thông sዎ tዊ lዉ nhኸ¯ዋnh
Trang 20Mዒt vài hዉ thዎ¯ዠ ¯ዒng ዜng dዙng thuኼ¯u khin PID có th k ¯ዅዛǣ
ȏʹȐǡȏͳȐǥ ኼ¯iu khin hiዉu qu cho mዒt tኹm hot
¯ዒng rዒng và liên tዙc trên thዠc tዅ, tuy nhiên nó có hn chዅ ዖ sዠ ዐ ¯ዋnh v chኸt
ዛዘ¯ዜ ዛዕng hዘp khác nhau trên thዠc tዅ Sዠ hn chዅ này xuኸt phát
tዝ viዉc các thông sዎ tዊ lዉ ዛዕ ¯ዛዘc cዎ ¯ዋnh cho toàn bዒ quá trình bay nên bዒ thông sዎ ዛዕng chዊ ¯t chኸዛዘng tዎt cho mዒt sዎ ዛዕng hዘp nhኸ¯ዋȋ¯ዜng yên hoc di chuyn) và không tዎዛ ዛዕng hዘp còn li
2.3 Џng dкng xây dсng hЪ thЯ¯с ¯гng
ዛ ¯ ¯ cኼp, mዙc tiêu cዚ ¯ tài là tኼp trung phát trin hዉ thዎ ¯ ዠ
¯ዒng dዠa trên thuኼ¯ዋnh vዋ bኾng thዋ giác máy Bên cnh viዉc chዌn lዌc và phát trin thuኼ¯u khi¯ዋnh vዋ bኾng thዋ giác máy thì viዉc kዅt hዘp chúng li ñዒt vኸ¯ cኹǤ0 xây dዠng mዒt hዉ thዎng ¯u khin phዜc tp mዒt cách hiዉu qu và ዐ¯ዋnh, ta cኹn phân tách chúng thành nhዟng module nhው ዓvዔi các nhiዉm vዙ chuyên biዉ¯ dወ ዓ ዉc qun lý và nâng cኸp hዉ thዎng Tuy nhiên, có mዒt vኸ¯ xy ra vዔi cách thiዅt kዅ ዛኼ¯×ዠ bኸ¯ዏng bዒ và cách thዜc truyn ti thông tin giዟa các thành phኹn trong hዉ thዎǤ0× ñýcho sዠ ¯ዕi cዚa nn tng hዉ thዎng ho¯ዒng cho Robot (Robot Operating System Ȃ
ȌǤ0 ×ኸt nhi ¯ tài nghiên cዜ¯ዛዔc xây dዠng hዉ thዎ¯u khin tዠ
¯ዒng cho mô hình bay ዜng dዙng nn tng ROS có th k ¯ዅዛǣ
+ Tianqu [28] thiዅt kዅ hዉ thዎ¯ Ø¿Øዛዕi lái dዠa trên nn t¯ዛዘ ¯u khin dዠa trên tín hiዉu tዝ trm m¯ኸǤ0m yዅu cዚa hዉ thዎng này nኾm ዖ kh £ዙng trên phm vi rዒng vì kh £ኸt mát thông tin
¯u khin do sዠ cዎ ¯ዛዕng truyn tín hiዉu
+ Falanga [2] trình bày mዒt hዉ thዎ ¯ ዠ ¯ዒng hoàn chዊ ¯ tài nghiên cዜu cዚa mình dዠa trên nn tǤ0ዒ¯ tài nghiên cዜu hay và hiዉu qu ዖ viዉ ¯u khi¯ዠ ¯ዒ Øዛዕዛዖng ዖ ¯ዒ cao ͶǤ0m thiዅu sót cዚ¯ tài này là các thዠc nghiዉm kim chዜ Øዛዕng
Trang 21²ዛዔi sዠ ዛዖng khác nhau cዚa ánh sáng Ngoài ra, viዉc giዔi h¯ዒ cao
ዖ Ͷ ñዒ¯m hn chዅ khác cዚ¯ tài nghiên cዜu này
2.4 Nгi dung nghiên cнu
¯ tài nghiên cዜ¯ ¯ዛዘ ¯ cኼp trong mዙ ʹǤͳ¯ዅʹǤ͵¯u tዏn ti nhዟng hn chዅ nhኸ¯ዋnh v mዛዓዜ ¯ዒ ዜng dዙ ዛዕng hዘp
cዙ th Do vኼǡ ¯ tài luኼ £ ¯ዛዘc trình bày trong tài liዉu này sዄ kዅt hዘp các
ዛዓ¯ ¯ cኼp ዖ các phኹዛዔ ¯ ¯t mዙc tiêu xây dዠng hዉ thዎ¯ዠ
¯ዒ Ø¿Øዛዕi lái mዒt cách hiዉu qu ¯ ኼy
Nгi dung nghiên cнu cл¯Ч tài gаm nhрng vЙ¯Ч sau:
Mоc 1: Xây dхng thuС¯аnh vа сng dоng thа giác máy
+ Xây dዠng thuኼt toán nhኼn dዛዔ ዛዘng trng thái cዚ¯ዎዛዘng dዠa trên marker tዠ thiዅt kዅ và kዣ thuኼt phân tích ma trኼn trኼ ¯ዜng yêu cኹu nhኼn dng ዖ các khong cách xa / gኹn vዔi sai sዎ thኸp và có th xዞ lý trong thዕi gian thዠc trên máy tính nhúng ዖ mዜc 20Hz
Mоc 2: Xây dхng thuС¯х ¯зng
+ Thuኼ ¯ ዠ ¯ዒ Ø ¿ ¯ዛዘc sዞ dዙng trong bài toán là
¯u khin PID vዔi thông sዎ tዊ lዉ ¯ዛዘc hiዉu chዊnh dዠa trên thông tin v sai sዎ hiዉn ti
¯ዒ biዅn thiên sai sዎ trong quá trình bay thዠc nghiዉ¯ዛዘc xây dዠng trên mô hình
¯u khin phân lዔp
Mоc 3: Xây dхng hЮ thг¯х ¯зng hoàn chЯnh
+ Kዅt hዘp các thành phኹ ዓn vዔi nhiዉm vዙ chuyên biዉȋ¯u khiǡ¯ዋnh
vዋ, thu thኼØǥȌዒt hዉ thዎng tዠ ¯ዒng hoàn chዊnh dዠa trên nn tng
¯¯ዛዘc yêu cኹu v sዠ ¯ዒng trong quá trình thay thዅ, cኼp nhኼt
Mоc 4: Thхc nghiЮm kiЬm chсng kЪt quМ
+ Hዉ thዎ¯ዠ ¯ዒng cኹ¯t các yêu cኹu v chኸዛዘng v tኹm hot ¯ዒng,
tዎ ¯ዒ ¯ዜng, kh £¯ Øዎ so vዔi nguዏn dዟ liዉu kim chዜng (lኸy tዝ giá trዋ ground-truth trong công cዙ mô phውng và tín hiዉu vዋ trí tዝ cm biዅn trong thí nghiዉm thዠc tዅ) Chኸ ዛዘng hዉ thዎ ¯ዛዘc kim chዜng ዖ mô hình mô
Trang 22phው ¯ ¯m b À ¯ï ¯ኽn cዚa thuኼ ¯ዋnh vዋ ¯u khi ñ ዛtrong nhiu thí nghiዉm thዠc tዅ ¯ chዜng minh kh £ዙng thuኼt toán trong
¯u kiዉØዛዕng cዙ th
0×× л¯Ч tài nghiên cнu:
0 tài luኼ£ዠ phát trin tiዅp nዎi cዚa mዒ¯ ዛዓዠ ¯ ዠc hiዉn cዚa các bn trong cùng nhóm nghiên cዜu vዔi mዙc tiêu gii quyዅt các vኸ¯ còn tዏn ti và nâng cao kh £ዜng dዙng cዚa hዉ thዎng, bao gዏm:
Ϊ£ኹm ho¯ዒ¯ዒ cao cዚa thuኼ¯ዋnh vዋ (nhኼn dዛዔc
ዛዘng trng thái) trong khong 30cm Ȃ 8m dዠa vào dng marker tዠ thiዅt kዅ và thuኼt
ዛዔ ዛዘng Levenberg-¯u kiዉn ngoài trዕi sáng
+ Sዞ dዙng kዣ thuኼt giÀ ዛዔc dዟ liዉu hình ¯ £ዎ ¯ዒ ¯ዜng cዚa hዉ thዎng tዝ 12-ͳͺ ȋ¯ ዠc hiዉn) sang 18-25Hz (hiዉn ti)
+ Ci thiዉn thuኼ ¯u khin PID bኾ ዛዓ ዉu chዊ ¯ዒ lዘi (gain-scheduling) giúp máy bay có kh £¯¯ዛዘ ² ¯ n thng vዔi vኼn tዎ ዓ ዔ ¯ ¯ ዠc hiዉn (2.5 m/s so vዔi 1.5 m/s trong mô phውng và 1.5 m/s so vዔi 0.5 m/s trong thዠc nghiዉm)
+ Thêm thông sዎ giá trዋ ¯ ¯c vኼn tዎc tዝ cm biዅn bay cho bዒ lዌc Kalman tuyዅÀ£ £ዛዔ ዛዘng và dዠ báo cho hዉ thዎ¯ዋnh vዋ giúp máy bay có kh £¯c bám trên quዣ ¯o phዜc tዓȋኸp khúc, tròn) vዔi vኼn tዎc giዔi hȋδͳȀȌȋ¯ ዛዔ ዛዠc hiዉ¯ዛዘc)
+ Hoàn thiዉ ዛዓ m nghiዉm chኸ ዛዘng hዉ thዎng trong c mô phውng và thዠc nghiዉዛǣ²Øዎ ¯¯c (tዎ ¯ዒ xዞ lý cho tዝng phኹn cዚa hዉ thዎng ዖ mዙc 4.2.3), so sánh kዅt qu vዔi thí nghiዉm cዚa mዒ¯ tài nghiên cዜu khác trong mô phውng (mዙc 4.2.1), thዠc hiዉn nhiዓ ዛዕng hዘp kim nghiዉȋ¯trên quዣ ¯o phዜc tǡ¯ዛዕng tròn)
Trang 233.1 HЪ thЯ¯Ьnh vЬ нng dкng thuНt toán thЬ giác máy
Thuኼ ¯ዋnh vዋ ዜng dዙng thዋ ¯ tài là mዒt chuዑi các bài
¯ዛዘc mô t trong hình nh sau:
Hình 3: Thuኼ¯ዋnh vዋ ዜng dዙng thዋ giác máy
Có th thኸy, thuኼ¯ዋnh vዋ ¯ዛዘc sዞ dዙng gዏm 3 bài toán con:
À ዛዔ ǡ¯ ñ¯ xuኸt v mዒt thiዅt kዅ có sዠ kዅt hዘp giዟa 2 dng marker gዏm: vùng lዔn màu ዛዓዋ ȋ Ȍዛዓዜng vዔi ʹዛዓዜc nhኼn dͳʹȋ¯ cኼp ዖ mዙ ʹǤͳǤͳȌ¯ዛዘc mô t ዖ hình sau:
Trang 24Hình 4: Marker tዠ thiዅt kዅ Marker tዠ thiዅt kዅ th hiዉn ዖ hình trên gዏm 2 phኹ ዓn:
+ Vùng màu xanh ዛዓǣ ዞ dዙ ¯ nhኼn dng ዖ vዋ trí cao vዔi mዙc
¯À ¯ዋnh sዠ tዏn ti cዚ ¯ዎ ዛዘng trong vùng nhìn thኸy vዔi mዒt
ዛዘng thông tin vዝ¯ዚ (coarse detection)
+ Marker nhዋ phân (ArUco): là dng nh vuông vi¯ ዜa mã nhዋ
ȋ¯αͲȀኽng = 1) vዔi À ዛዔc sዀn biዅt (6 x 6) Marker nhዋ
¯ tài gዏʹÀ ዛዔ ¯ዛዘc sዞ dዙ¯ nhኼn d¯ዎዛዘng ዖ ¯ዒ cao vዝa và thኸp (fine detection)
Viዉc kዅt hዘ ዛዓ ዜc nhኼn dng khác nhau vዔi hai lo ¯ ዛ
ዛዓዜng (màu / mã nhዋ phân) giúp hዉ thዎ¯ዋnh vዋ có kh £ኼn dng mዙc tiêu trong vùng nhìn thኸy vዔ¯ዒ ¯ዐi tዝ ͵Ͳ ¯ዅͺǤ0ዒዛዔc ci tiዅn so vዔi mዒt sዎ các công trình nghiên cዜu khác
3.1.1.2 ThuНt toán nhНn dЗ¯Ямйng (object detection)
ዛ¯ ¯ cኼp, thuኼt toán nhኼn d¯ዎዛዘ¯ዛዘc chia làm 2 phኹn:
nhኼn dng màu sኽc và nhኼn dng mã nhዋ ዛዓዜng vዔ¯ዒ cao hiዉn ti
cዚØ¿Ǥዓ¯ዏ thuኼt toán nhኼn d¯ዛዘc mô hình hóa trong hình
sau:
Trang 25Hình 5ǣዓ¯ዏ thuኼt toán nhኼn dng Thuኼt toán nhኼn dng cዚ¯ tài nghiên cዜu chia ra làm 3 ý chính:
+ Thuኼt toán tin xዞ lý (giÀ ዛዔc, chዌn vùng quan tâm)
+ Thuኼt toán nhኼn dng màu
+ Thuኼt toán nhኼn dng marker nhዋ phân
Trang 26ThuСt toán tiЫn xу lý
0 ዒ ዛዔc quan trዌng trong thuኼt toán nhኼn d ï £ ዎc quá trình nhኼn dng bኾng cách giÀ ዛዔc cዚa nh cኹn xዞ ýዛኻn giዟ li các thông tin cኹn thiዅǤ×ዛዓ¯ዛዘc sዞ dዙ¯ tài bao gዏm:
+ Sዞ dዙng kዣ thuኼt pyramid image: lዌc nh bኾng bዒ lዌc Gaussian và gim kích
ዛዔc nh bኾng kዣ thuኼt sub-¯ዛዘ ¯ cኼp ዖ tài liዉu [30] Tính chኸ¯ ዛcዚa nh sዄ vኻ¯ዛዘc giዟ lዛ²ዒÀ ዛዔc nhው ዓǡ¯u này thích hዘp
sዞ dዙng cho nhኼn dng màu sኽc khi mà mዜ ¯ዒ chi tiዅt cዚa thông tin nh không phi
¯u quan trዌng nhኸt
+ Sዞ dዙng kዣ thuኼt chዌn lዌc vùng nh quan tâm (Region of Interest - Ȍǣ¯
là mዒዛዓኼn dng có chዌn lዌc khi biዅ¯ዛዘ Ø ዓn v vዋ trí cዚa vኼt trong khung nh Khác vዔi kዣ thuኼt pyramid image, mዜ ¯ዒ chi tiዅt cዚa thông tin nh vኻ¯ዛዘc bዛî¯ዛዘc sዞ dዙ¯ trích xuኸ¯c
ዛ¯ዛዘc gi¯¯ Xét cዙ th ¯ tài, vùng nh ዖ trung tâm sዄ ¯ዛዘc chዌn là vùng quan tâm (ROI) vì kዣ thuኼt này áp dዙng khi mô hình b ×ዛዔng di chuyn trên tâm cዚ ¯ዙc tiêu
Hình 6: Kዣ thuኼt pyramid image (trái) và chዌn vùng nh quan tâm (ROI) (phi)
ThuСt toán nhСn dЛng màu
Thuኼt toán lዌc màu sዞ dዙng hዉ màu HSV bኾ ¯ዐi hዉ sዎ H giúp tách phኹn màu mong muዎȋዛዓȌዔi các màu khác trong nh Tuy nhiên, sዄ
có nhዟng vùng ñ ዜa nhዟng vùng màu trùng vዔi màu mong muዎn nên phi kዅt hዘp kዅt hዘp thêm các phép lዌ ዓn (hình dǡÀ ዛዔc, sዎ ዛዘȌ¯ tìm
Trang 27Dz¯ዎዛዘdzÀ ዘp thውa mãn các yêu cኹ¯ǤDz0ዎዛዘdz¯ዛዘc mô hình hóa bኾͶDz¯dz ዚ î²Ǥዛዓï ¯ዋnh tዌ¯ዒ Dz¯ዎዛዘdzØnh mዒ DzØዓdzዔi sai sዎ lዔ¯ዒ nhiወu cao, tuy nhiên sai sዎ này nኾm trong dዠ ¯¯ዛዘc chኸp nhኼዛዒt cách nhኼn dDzØdzȋ Ȍǡز ኹ¯ዒ À ¿ዛዓዜc này
áp dዙng khi mô hình bay ዖ ¯ዙc tiêu
ThuСt toán nhСn dЛng marker nhа phân
ArUco là dng marker hình vuông chዜa mã nhዋ phân Vì vኼy thuኼt toán nhኼn ArUco sዄ phát hiዉn và lዌc các Dzኼt thdz 4 cnh trong khung ×À ዛዔc phù hዘp Các vin bao sau bዒ lዌc tiዅp tዙ ¯ዛዘc nhኼn dng chính xác bኾng so sánh mã nhዋ phân chዜa bên trong vዔዛዉn mã sau khi loi trዝ ዛዖng cዚa hình chiዅu phዎi cnh (perspective transform) Tዝ ¯×ǡ ዜa mã nhዋ À ¯ዛዘc lዌc lዛዟ bኾng vዋ trí 4 góc có thዜ tዠ rõ ràng (tham kho tài liዉu [11])
3.1.2 Ўе мйng trЗng thái vНt thШ (pose estimation)
3.1.2.1 Mô hình pinhole camera
ዛዔ ዛዘng trng thái vኼt th ¯ዛዘc xây dዠng dዠa trên mô hình pinhole camera giúp phn chiዅu hình nh cዚa Dz¯ዎ ዛዘdz ዉ trዙc tዌ ¯ዒ 3 chiu vào mt phng nh 2 chiu ዛǣ
Hình 7: Mô hình pinhole camera (nguዏn: opencv.org)
Trang 28ܯௐ = tዌ¯ዒ trong hዉ trዙc 3D gኽn vዔi tâm vኼt th
ܯ = tዌ¯ዒ trong hዉ trዙc 3D gኽn vዔi tâm camera
Trang 293.1.2.2 HiЪu chЫnh thông sЯ camera (camera calibration)
ዛዓ¿ȋͳȌȋʹȌዙ thuዒc vào nhዟng thông sዎ cዎ ¯ዋnh gዏm tiêu cዠ,
¯m tâm và hዉ sዎ méo dng Các thông sዎ này là riêng biዉt cho tዝng loi camera và ዎÀ¯ዛዘc cung cኸp bዖi nhà sn xuኸt Tuy nhiên, trong mዒt sዎ ዛዕng hዘp, các thông sዎ này không ¯ዛዘc cung cኸp mà ph¯ዛዘ ዛዔ ዛዘng ho ¯¯c bኾng các công cዙ hዑ trዘ Vì vኼy, Matlab cung cኸp mዒt toolbox hዑ trዘ ዛዔ ዛዘng thông sዎ camera tዝ chuዑi các nh bàn cዕ vua (chessboard) ዖ nhi× ¯ዒ qua quá trình sau:
Hình 8: Quy ¿ዛዔ ዛዘng thông sዎ camera ዛዔc này bao gዏm:
+ Trích xuኸt thông sዎ camera
Sau khi quá trình hoàn tኸt, mዒt bዒ thông sዎ camera bao gዏm: tiêu cዠǡ¯m giዟa và các hዉ sዎ méo d¯ዛዘ ዛዔ ዛዘng và trích xuኸt ra tኼp tin
3.1.2.3 ThuНме мйng trЗng thái (pose estimation)
ዛዔ ዛዘng tr¯t ra yêu cኹ ¯ዋnh kho Ȁዛዔng
ዛዓ¯ዎi cዚa camera so vዔDz¯ዎዛዘdzዛዔ ዛዘȋ ¯ዙc tiêu) vዔi ngõ vào
là thông sዎ ȋዛዔ ዛዘng tዝ Matlab toolbox) và tኼp dዟ liዉ¯m nh trong mt phng ʹዛዓ ዜng vዔi tዌ¯ዒ 3D trong hዉ trዙc gኽn vዔi tâm vኼt th Quy trình phn chiዅDz¯ዎዛዘdzØnh dዠ²Ø¿Dz dz¯ዛዘc th hiዉn qua hình nh sau:
Trang 30Hình 9: Quy trình phn chiዅ¯ዎዛዘng vào mt phng nh
¯×ǣ
Ϊዛዔc 1: Chuyn hዉ trዙc tዌ¯ዒ tዝ tâm vኼt sang tâm camera
Ϊዛዔc 2: Chiዅu vኼt th vào mt phng nh qua phép chiዅu phዎi cnh Ϊዛዔc 3: Thዠc hiዉn phép biዅ¯ዐ¯ tìm tዌ¯ዒ trong hዉ pixel Các công thዜc biዅ¯ዐ¯ ¯ዛዘc nêu ዖ trong phኹDz dzǤ
¯t ra yêu cኹዛዔ ዛዘng các thông sዎ cዚa ma trኼn xoay và vector tዋnh
tiዅ ¯ ¯ዋnh tዌ ¯ዒ cዚ Dz¯ዎ ዛዘdz ዉ trዙc gኽn vዔi tâm camera
ዛዓ ዞ dዙ ¯ tài là phân tách ma trኼn homography bኾng
thuኼt toán lp Levenberg-Marquardt
Ma trСn Homography
¯ዛዘ ¯ዋÂኼn chuy¯ዐi nh giዟa hai mt phng
nh ዖ 2 góc chiዅu khác nhau hoc giዟa mt phng nh và mt ph¯ዎዛዘng
Hình 10: Ma trኼn Homography (nguዏn: opencv.org)
ோȁ௧
ሺ͵ሻ
Trang 31Ma trኼn homography là sዠ kዅt hዘp cዚa ma trኼn xoay và vector tዋnh tiዅn
ዛዓÀ ኼ¯ዛዘc áp dዙng duy nhኸ Dz¯ዎi
ዛዘdzng (Z=0) Cዒt thዜ 3 cዚa ma trኼ¯ዛዘc loi bው trong quá trình hình thành ma trኼn homography vì khi tính tích cዚa hai ma trኼn theo pዛዓ¿ȋͳȌ¿giá trዋ cዒt thዜ 3 cዚa ma trኼዛዓዜng vዔi trዙc Z = 0 cዚa mt phng vኼt sዄ bዋ
ዛዘc bው, tዝ ¯×ኼ¯ዛዘc gim chiu tዝ 3x4 sang 3x3 Tuy nhiên, ta ñ × ¯ዋnh cዒt thዜ 3 cዚa ma trኼn xoay bኾng cách tính tích có ዛዔng cዚa cዒt thዜ 1 và cዒt thዜ ʹ ¿ ï ¯ዓ ዋ trዠc giao vዔi nhau tዝ ¯Ø ዒt
ዛዓዜng vዔi trዙc x-y-z cዚa hዉ tዌ¯ዒ 3 chiu
Trang 32Вй рнng trЛng thái khлi tЛo
Trng thái khዖi tዛዔc quan trዌng cho thuኼt toán lp giúp tዎዛ×ዉu
£ ȋm sዎ lኹn lȌǤ ¯ tài này, thuኼt toán phân tích trዋ riêng ma trኼn (Singular Value Decomposition - Ȍ ȏ͵ͳȐ ¯ዛዘc sዞ dዙ ¯ tính toán trng thái khዖi to cho thuኼt toán lp Levenberg-Marquardt Tዝ ዛዓ¿ȋ͵Ȍǡ ¯ዋnh rኾng ma trኼn homography có 9 ኺዛዓዜng vዔi 9 bኼc tዠ ǡ¯× ኹn khai thác tዎi thiͻዛዓ¿¯i sዎ ¯ gii nghiዉm duy nhኸt Tuy nhiên, công trình nghiên cዜu cዚ ȏ͵ʹȐ¯ ዊ ra rኾng chዊ cኹn tዎi thiͶ¯m phn chiዅዛዓዜng giዟa hዉ tዌ¯ዒ 3D vào mt phng ʹ¯ tͺዛዓ¿¯i sዎ tዝ ዛዓ
¿ȋͶȌǤ0u này xuኸt phát tዝ yዅu tዎ ዛዓ¿ȋͶȌዅ¯ዛዘc nhân tዞ và mኻu sዎ cho cùng mዒt hዉ sዎ ݇ thውa mãn ݇Ǥ ݄ଽ ൌ ͳ ¿ዛዓ¿ȋͶȌዄ chዊ còn li 8 bኼc tዠ
do, tuy nhiên cùng vዔ¯×¿ዋ ዛዔ ዛዘng sዄ bዋ ¯ዐi tዝ ݄ sang ݇Ǥ ݄Ǥዛኼy
¯ ዛዔ ዛዘng thông sዎ ݄ chính xác thì cኹn ph¿¯ዛዘc hዉ sዎ ݇ tዝ ràng buዒc các cዒt cዚa ma trኼȋዛዓዜng cዒt 1 và 2 cዚa ma trኼn homography) là các vector
Trang 33
Ǥ
ۏێێێێێێ
ต
ൌ
ۏێێێێێێ
ܣ ൌ ܷǤ ȭǤ ்ܷ
ൌ ܣିଵ ൌ ሺܷǤ ȭǤ ்ܷሻିଵ ൌ ்ܷǤ ȭିଵǤ ܷ
ൌ ݄ ൌ ܣିଵǤ ܾ ൌ ்ܷǤ ȭିଵǤ ܷǤ ܾሺሻ
ዛኼy, các phኹn tዞ cዚa ma trኼn homography sዄ ¯ዛዘ ¯ዋዛዓ
¿ȋȌǤ²ǡዛ¯ ¯ cኼp, giá trዋ À¯ዛዘ ¯ ዋ nhân thêm mዒt hዉ sዎ
tዊ lዉ ݇Ǥ¯×ǡ¯ ¯ዋnh chính xác giá trዋ các phኹn tዞ ma trኼn homography mong muዎn, ta áp dዙng ràng buዒc các cዒt cዚa ma trኼ ¯ዓዋ ¯ tính giá trዋ cዚa hዉ sዎ tዊ lዉ ݇ Áp dዙዛዓ¿ȋ͵Ȍǡ ×ǣ
Trang 34Gዌi ݑଵǡ ݑଶ ዛዓዜng là cዒt 1 và cዒt 2 cዚa tích 2 ma trኼn ܣିଵǤ ܪᇱ và ݎଵǡ ݎଶ ዛዓዜng là cዒt 1 và cዒt 2 cዚa ma trኼn ሾܴȁݐሿ Theo ràng buዒc ݎଵǡ ݎଶ ¯ዓዋ, ta
ዛኼy, hዉ sዎ tዊ lዉ ݀ ¯ዛዘc tính bኾ¿¯ዒ lዔn cዚa cዒt 1 và 2 cዚa tích
2 ma trኼn ܣିଵǤ ܪᇱ Phép toán lኸy trung bình giúp khዞ nhiወu tዎዓዔi chዊ lኸy 1 giá trዋ ¯ዒ lዔn cዚa cዒͳʹǤ¿¯ዛዘc hዉ sዎ tዊ lዉ ݀, viዉ ¯ዋnh giá trዋ khዖi to cho ma trኼn xoay và vector tዋnh tiዅn dወ À¯ዛዘc tዝ ዛዓ¿ȋȌǤ
²¯ thuኼn lዘ ¿¯u khin tiዅp theo, chúng ta cኹn phi chuy¯ዐi ma trኼn xoay và vector tዋnh tiዅn v dng vector trng thái vዔi 3 góc Euler (roll, pitch, yaw) và 3 kho ዛዓዜng vዔi 3 trዙc x-y-Ǥ0 thuኼn lዘi cho viዉc tính toán tiዅǡ¯t vector trng thái ൌ ሾߠ௫ ߠ௬ ߠ௭ ݐ௫ ݐ௬ ݐ௭ሿ் ዛዓዜng vዔi 3 góc xoay Euler và 3 khong cách vዔi 3 trዙc x-y-z Lúc này, ta có ዛዓtrình chuy¯ዐi:
ݎଵଵ ݎଵଶ ݐ௫
ݎଶଵ ݎଶଶ ݐ௬
ݎଷଵ ݎଷଶ ݐ௭൩ᇣᇧᇧᇧᇤᇧᇧᇧᇥ
Trang 35ThuСt toán lЦp Levenberg-Marquardt
Mc dù giá trዋ khዖi to ¯ዛዘc tính tዝ ዛዓ¿ȋͳͲȌ × sዞ dዙዛng thái cዚa vኼt th, tuy nhiên trên thዠc tዅ, quá trình tính toán ma trኼn
¯ ው qua các ዛዖng phi tuyዅǡ¯u này to nên sai sዎ lዔn nዅu sዞ dዙng giá trዋ khዖi to làm ngõ vào cho thuኼ¯u khiǤዛ¯ ¯ cኼǡýዛዖng cዚa thuኼt toán lp là tìm thông sዎ tዎዛ¯ tዎi thiu hóa hàm mዙc tiêu bኾዛዓpháp tìm cዠc tiu là nghiዉ¯o hàm cዚa hàm mዙc tiêu bኾng không Xét cዙ th
¯ tài (tham kho tዝ tài liዉu [33]), hàm mዙ ²¿ዛዓዎ cዚa tዌa
¯ዒ ¯m ¯ዛዘc so vዔi giá trዋ tính toán tዝ theo thông sዎ trዛዔ ዛዘng
Trang 36݂ሺ݄ሻ ൌ
ۏێێێ
ۍ݂ଵሺ݄ሻ
݂ଶሺ݄ሻڭ
݂ሺ݄ሻ
଼݂ሺ݄ሻےۑ
ۑۑ
ې
ൌۏێێێ
ۍݑݒଵଵڭ
ݑସ
ݒସےۑ
ۑۑ
ې
ൌ
ۏێێێێێێێێ
ሺͳʹሻ
݃ሺሻ ൌ
ۏێێێێێێێێ
ൌ
ۏێێێێێێێێ
ൌ
ۏێێێێێێێێ
ሺܿ ൌ ܿݏǡ ݏ ൌ ݏ݅݊ሻሺͳ͵ሻ
(hàm ݃ሺሻ ¯t gi thuyዅt ݏǤ ܣ ൌ ܫ ዖ ዛዓ¿ȋ͵Ȍ¯ gi¯ዒ phዜc tp) Tiዅ ¯ዅn, ma trኼn Jacobian cዚa ݂ሺ݄ሻ và ݃ሺሻ ¯ዛዘc tính toán bኾng cách sዞ dዙ ¯o hàm riêng phኹn theo tዝng phኹn tዞ cዚa ma trኼn homography và vector tr¯ ¯ዋ¯ዒ biዅn thiên cዚa hàm chuy¯ዐi phዙ thuዒ ዛዅ nào vào các phኹn tዞ riêng biዉt Ta có:
ᇣᇧᇧᇧᇧᇤᇧᇧᇧᇧᇥ
଼௫ଽ௧௫
ܬ ൌ
ۏێێێێ
ᇣᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇤᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇥ
ଽ௫௧௫
ሺͳͶሻ
Vì ܬ có tính chኸዛዓዠ nhau cho hàng lዃ / chዀȋዛዓ¿ȋͳʹȌȌ ዊ khác giá trዋ ngõ vào ሺܺௐǡ ܻௐሻ ¯ዐዛዓዜng tዝ ¯m 1 -ε¯m 4
Trang 37଼߲݄ ൌ െ ൬
݄ଵܺௐ ݄ଶܻௐ ݄ଷሺ݄ܺௐ ଼݄ܻௐ ݄ଽሻଶ൰ ܻௐ
߲݂
߲݄ଽ ൌ െ ൬
݄ଵܺௐ ݄ଶܻௐ ݄ଷሺ݄ܺௐ ଼݄ܻௐ ݄ଽሻଶ൰
߲݂
଼߲݄ ൌ െ ൬
݄ଵܺௐ ݄ଶܻௐ ݄ଷሺ݄ܺௐ ଼݄ܻௐ ݄ଽሻଶ൰ ܻௐ
߲݂
߲݄ଽ ൌ െ ൬
݄ଵܺௐ ݄ଶܻௐ ݄ଷሺ݄ܺௐ ଼݄ܻௐ ݄ଽሻଶ൰
Tiዅp tዙ ǡ¯o hàm riêng phኹn ܬ ¯ዛዘ ¯ዋnh cho tዝዛ:
Trang 38଼௫ଽ௧௫
Ǥۏێێێێ
ᇣᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇤᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇧᇥ
ଽ௫௧௫
Thuኼt toán lp Levenberg-¯ዋÂǣ
ሺାଵሻ ൌ ሺሻ ൫ܬ்ܬ ߣǤ ݀݅ܽ݃ሺܬ்ܬሻ൯ିଵǤ ܬ்Ǥ ൬ܾ െ ݂ ቀ݃൫ሺሻ൯ቁ൰ሺͳͷሻ
Trang 393.1.3 ThuНt toán hНu xп lý (post-processing)
Trong mዙc này, có hai thuኼ ዓ¯ዛዘc áp dዙ¯ bዐ trዘ cho thuኼt
ዛዔ ዛዘng trình bày ዖ mዙc 3.1.2 bao gዏm: thuኼt toán lዌc dዠ báo (Linear Kalman Filter) và thuኼt toán chuy¯ዐi hዉ tዌ¯ዒǤ0ኼ ዓn phዙ thuዒ ¯c tính riêng cዚa hዉ thዎng, bዐ trዘ cho giá trዋ ዛዔ ዛዘ ñዛዔc tin xዞ ý ¯ኹu vào cዚa thuኼ¯u khin
3.1.3.1 Công thнc chuyШn ¯бi hЪ tЭ¯г
Giá trዋ ዛዔ ዛዘng tዝ thuኼt toán thዋ giác máy cho thông tin v khong cách cዚa Dz ¯ ዙ ²dz ዉ trዙc tዌ ¯ዒ gኽn vዔi tâm camera Giá trዋ này cኹn phi
¯ዛዘc chuy¯ዐi v hዉ trዙc tዌ¯ዒ 0ኸt (NED: North-East-Ȍዛዔ ¯ዛvào bዒ ¯u khin Quá trình chuy¯ዐi hዉ trዙc tዌ¯ዒ gዏ ዛዔc sau:
Ϊዛዔc 1: Hዉ trዙc tዌ¯ዒ gኽn vዔDz ¯dzȋ Ȍmt phng nh 2D (image plane) qua quy trình lኸy nh tዝ camera
Ϊዛዔ ʹǣክዔ ዛዘng tዌ¯ዒ Dz ¯dzዉ trዙc tዌ¯ዒ gኽn vዔi tâm camera (camera coordinates) qua thuኼዛዔ ዛዘng trng thái
Ϊዛዔc 3: Chuy¯ዐi hዉ trዙc tዌ¯ዒ gኽn vዔi tâm camera sang hዉ trዙc NED qua công thዜc chuy¯ዐi phዙ thuዒc vào cách lኽ¯t hዉ thዎng
Trang 40Hình 12: Mô hình mô t các hዉ trዙc tዌ¯ዒ ¯ tài Xét cዙ th ¯ tài, công thዜc chuy ¯ዐi hዉ trዙc tዌ ¯ዒ gዏ ዛዔc: chuy¯ዐi tዝ trዙc camera sang trዙc mô hình bay và tዝ trዙc mô hình bay sang hዉ trዙ ǡ¯ዛዘc mô t trong công thዜc sau:
¯×ǣ߰ × ዛዔng cዚa mô hình bay so vዔi tዝ ዛዕng Trá0ኸt (trong
¯u kiዉn máy bay ዖ trng thái cân bኾng)
3.1.3.2 Bг lЭc Kalman tuyЦn tính (Linear Kalman Filter)
Thuኼt toán nhኼn dዛዔ ዛዘng phዙ thuዒc vào chኸዛዘng nh thu vào, vì vኼy trong mዒt sዎ ዛዕng hዘp nh bዋ nhiወu hoc mዕ nét do rung lኽc trong quá trình chuy¯ዒng thì cኹn có mዒt giá trዋ thay thዅ ¯ዛዘ ዛዔ ዛዘng tዝ các giá trዋ ዛዔ ¯×ǤBên c ¯×ǡ ዉc kዅt hዘp giዟa giá trዋ ¯ ¯c cዚa các cm biዅn (IMU, GPS,
ǥȌዔi giá trዋ trዛዔ ዛዘng tዝ thông tin hình ñ£tính chính xác cዚa các thông sዎ ዛዔ ዛዘǤ0 tài áp dዙng bዒ lዌc Kalman tuyዅn tính (LKF) là mዒt dng bዒ lዌ ¯ዓዓዔi bዒ lዌc Kalman mዖ rዒng (EKF) hay bዒ
lዌ Ǥ0u này xuኸt phát tዝ ¯c tính cዚ¯ tài không áp dዙዛዓ¿
¯ዒng hዌ ¯ mô t hዉ thዎng và kh £ኼn dዙng giá trዋ cm biዅ¯ ¯ዛዘc lዌc qua
bዒ lዌc EKF ዖ lዔ¯u khin cኸp thኸǤ0 tài sዞ dዙዛዓ¿ኼn tዎc tuyዅn tính vዔi giá trዋ ¯¯c, thông sዎ bዒ lዌ ¯ዛዘc th hiዉዛǣ