Đồ án tốt nghiệp Công nghệ kỹ thuật điều khiển và tự động hóa: Quadcopter nhận dạng tụ sứ lỗi sử dụng kĩ thuật học sâu ứng dụng trong giám sát thông minh

Học sâu là một nhánh của trí tuệ nhân tạo sử dụng các mạng nơ-ron nhân tạo ANN được đào tạo trên một lượng lớn dữ liệu để học hỏi và thực hiện các nhiệm vụ phức tạp.. - Sự bất biến của v

THÀNH PHỐ HỒ CHÍ MINH

ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA

GVHD: PGS TS VŨ VĂN PHONG SVTH: LÊ QUANG HUY

NGUYỄN ĐÌNH KHÔI

QUADCOPTER NHẬN DẠNG TỤ SỨ LỖI

SỬ DỤNG KĨ THUẬT HỌC SÂU ỨNG DỤNG TRONG

GIÁM SÁT THÔNG MINH

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP QUADCOPTER NHẬN DẠNG TỤ SỨ LỖI

SỬ DỤNG KĨ THUẬT HỌC SÂU ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH

GVHD: PGS TS VŨ VĂN PHONG Khóa: 2020

Ngành: CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA

SVTH:

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH

KHOA ĐIỆN - ĐIỆN TỬ

BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC

o0o

Tp HCM, ngày tháng năm 2023

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Sinh viên thực hiện:

Lê Quang Huy MSSV: 20151231 Điện thoại: 0334793878 Nguyễn Đình Khôi MSSV: 20151479 Điện thoại: 0786101070 Chuyên ngành: Công nghệ Kỹ thuật Điều khiển và Tự động hóa

Hệ đào tạo: Đại học chính quy

Khóa: 2020 − 2024

I TÊN ĐỀ TÀI:

QUADCOPTER NHẬN DẠNG TỤ SỨ LỖI BẰNG KĨ THUẬT HỌC SÂU ỨNG DỤNG

TRONG GIÁM SÁT THÔNG MINH

II NHIỆM VỤ

1 Các số liệu, tài liệu ban đầu:

- Các thông số động lực học, phương pháp điều khiển quadcopter

- Tham khảo các ứng dụng của nhận dạng AI trong thực tế

- Tham khảo các dự án tránh vật cản, theo dõi người và điều khiển di chuyển điểm đến điểm của drone

2 Nội dung chính của đồ án:

- Tìm hiểu về hệ thống động lực và điều khiển quadcopter

- Tìm hiểu về phương pháp điểu khiển quadcopter tự động

- Lựa chọn phương pháp điều khiển quadcopter dự trên các dự án thực tế

- Xây dựng mô hình hệ thống bằng các thiết bị phần cứng

- Xây dựng chương trình điều khiển và nhận dạng tụ sứ

- Thiết kế giao diện giám sát, điều khiển và cơ sở dữ liệu

- Chạy thử nghiệm, cân chỉnh và sửa lỗi

- Viết báo cáo luận văn

3 Các sản phẩm dự kiến

- Mô hình thực tế

- Video vận hành của hệ thống

- Báo cáo tổng kết

III NGÀY GIAO ĐỒ ÁN: Ngày 20 tháng 3 năm 2024

IV NGÀY NỘP ĐỒ ÁN: Ngày 21 tháng 6 năm 2024

V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS Vũ Văn Phong

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH

KHOA ĐIỆN - ĐIỆN TỬ

BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC

o0o

Tp HCM, ngày tháng năm 2023

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP

Họ tên sinh viên 1: Lê Quang Huy MSSV: 20151231

Họ tên sinh viên 2: Nguyễn Đình Khôi MSSV: 20151479

Tên đề tài: QUADCOPTER NHẬN DẠNG TỤ SỨ BẰNG KĨ THUẬT HỌC SÂU ỨNG

DỤNG TRONG GIÁM SÁT THÔNG MINH

Tuần 1 (01/03 - 06/03) Lên ý tưởng thiết kế phần cứng

Tuần 2-3 (07/03 - 20/03) Thiết kế mô hình trên SolidWork

Tuần 4-5 (21/03 - 03/04) Mua vật liệu và thi công phần cứng

Tuần 6-7 (04/04-17/04) Lập trình Jetson nano điều khiển

Tuần 12-14 (02/06-16/06) Chỉnh sửa lỗi còn tồn động

Tuần 15 (17/06-21/06) Làm báo cáo và quay video

GV HƯỚNG DẪN

(Ký và ghi rõ họ và tên)

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH

KHOA ĐIỆN - ĐIỆN TỬ

BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC

o0o

Tp HCM, ngày tháng năm 2023

LỜI CAM ĐOAN

Nhóm xin cam kết đề tài này là do nhóm tự thực hiện dựa vào một số tài liệu trước

đó và không sao chép từ tài liệu hay công trình đã có trước đó

Thành viên thực hiện đề tài

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH

KHOA ĐIỆN - ĐIỆN TỬ

BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC

o0o

Tp HCM, ngày tháng năm 2024

PHIẾU NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN

Họ và tên sinh viên 1: Lê Quang Huy MSSV: 20151231

Họ và tên sinh viên 2: Nguyễn Đình Khôi MSSV: 20151497

Chuyên ngành: Công nghệ Kỹ thuật Điều khiển và Tự động hóa

Tên đề tài: QUADCOPTER NHẬN DẠNG TỤ SỨ LỖI BẰNG KĨ THUẬT HỌC SÂU ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH

Giảng viên Hướng dẫn: PGS.TS Vũ Văn Phong

LỜI CẢM ƠN

Chúng tôi xin gửi lời cảm ơn chân thành đến lãnh đạo của Trường Đại học Sư phạm Kỹ thuật TP.HCM, Khoa Điện – Điện tử và Bộ môn Điều khiển Tự động hóa đã tạo điều kiện và hỗ trợ chúng tôi suốt quá trình học tập và nghiên cứu đề tài

Chúng tôi muốn bày tỏ lòng biết ơn sâu sắc đến TS Vũ Văn Phong, người đã tận tình hướng dẫn chúng tôi suốt thời gian nghiên cứu đồ án Dù thầy bận rộn với công tác

đi công tác và lịch trình làm việc dày đặc, nhưng thầy vẫn sac xếp thời gian để chỉ dẫn, giúp đỡ và định hướng cho chúng tôi Thầy đã tạo điều kiện tối ưu nhất để chúng tôi có thể hoàn thành đề tài nghiên cứu Chúng tôi xin gửi lời cảm ơn chân thành đến thầy và chúc thầy dồi dào sức khỏe

Bên cạnh đó, chúng tôi cũng muốn bày tỏ lòng biết ơn đến anh Nguyễn Từ Gia Thịnh và anh Văn Hoàng Phước Toàn, những cựu sinh viên của trường đã hỗ trợ chúng tôi về mặt kiến thức và thiết kế, đồng thời giúp đỡ rất nhiều trong quá trình thực hiện đề tài này Ngoài ra, chúng tôi cũng xin gửi lời cảm ơn đến anh Nguyễn Minh Nhựt, kỹ sư

từ công ty Hikrobotics, đã cung cấp những thông tin về các giải pháp tự động hóa quý báu

Cuối cùng, chúng tôi xin cảm ơn người thân, bạn bè đã luôn bên cạnh, động viên chúng tôi hoàn thành đề tài này

Sinh viên thực hiện

TÓM TẮT ĐỀ TÀI

Sứ điện đóng vai trò thiết yếu trong hệ thống điện, đảm bảo cách ly và dẫn truyền dòng điện an toàn qua mạng lưới truyền tải và phân phối Tuy nhiên, theo thời gian và chịu tác động của các yếu tố môi trường khắc nghiệt, sứ điện có thể bị bẩn và hư hỏng Việc giám sát sứ điện trở nên vô cùng quan trọng để phát hiện sớm bất kỳ dấu hiệu hư hại hay bất thường nào, góp phần đảm bảo hoạt động an toàn, hiệu quả của hệ thống điện và bảo vệ an toàn cho người lao động cũng như cộng đồng xung quanh Nhờ giám sát chủ động, các vấn đề tiềm ẩn được phát hiện kịp thời, cho phép thực hiện các biện pháp sửa chữa và bảo trì kịp lúc, từ đó giảm thiểu nguy cơ xảy ra sự cố chập cháy, nổ điện và mất điện Trong lĩnh vực giám sát thông minh, đặc biệt là việc nhận diện sứ điện trên lưới điện, nhiều nghiên cứu đã được thực hiện nhằm phát triển các mô hình huấn luyện và tối ưu hóa hiệu quả giám sát

Ở Việt Nam, hiện tại việc ứng dụng học sâu vào giám sát thông minh chưa được quá phổ biến cũng như việc phát hiện sứ điện chủ yếu sử dụng drone và được quan sát bằng mắt thường nên gây tốn thời gian và nhân lực

Đề tài ứng dụng camera để nhận dạng và xác định tụ sứ bị bẩn hoặc nứt vỡ xử lý bằng Jetson nano, cũng từ thuận toán tích hợp trên jetson nano điều khiển bộ điều khiển bay Pixhawk, sử dụng lidar để điều khiển khoảng cách an toàn so với tụ Bên cạnh đó,

hệ thống còn có thể được giám sát từ xa thông qua giao diện Window form

MỤC LỤC

LỜI CẢM ƠN i

TÓM TẮT ĐỀ TÀI ii

MỤC LỤC iii

PHỤ LỤC HÌNH ẢNH vi

PHỤ LỤC BẢNG ix

CHƯƠNG 1: TỔNG QUAN 1

1.1 Đặt vấn đề 1

1.2 Mục tiêu đề tài và giới hạn đề tài 1

1.3 Phương pháp nghiên cứu 2

1.4 Giới thiệu nội dung 3

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 5

2.1 Xử lý ảnh 5

2.2 Học sâu và trí tuệ nhân tạo 5

2.3 Mạng thần kinh tích chập 6

2.4 Các phương pháp nhận dạng đối tượng 9

2.5 Giới thiệu về drone 14

2.6 Động lực học và ma trận chuyển đổi trục của drone 16

2.7 Bộ lọc Kalman 18

2.8 Bộ điều khiển PID 19

2.9 Bộ điều khiển bay 21

2.10 Máy tính NVIDIA Jetson Nano 23

2.10.1 Máy tính nhúng 23

2.10.2 NVIDIA Jetson nano 25

2.11 Tổng quan về MySQL 28

CHƯƠNG 3: HỌC SÂU TRONG NHẬN DẠNG SỨ ĐIỆN 31

3.1 Tầm quan trọng của nhận dạng sứ điện 31

3.2 Nhận dạng sứ bằng SSD-Mobilenet-v1 31

3.2.1 Giới thiệu về SSD-Mobilenet-v1 31

3.2.2 Cách thức hoạt động của SSD-Mobilenet-v1 33

3.2.3 Kiến trúc mạng SSD-Mobilenet-v1 35

3.2.4 Các hàm Loss của SSD (Loss function) 35

CHƯƠNG 4: GIẢI PHÁP NHẬN DẠNG TỤ SỨ 37

4.1 Tổng quan giải pháp 37

4.2 Giải pháp chi tiết 38

CHƯƠNG 5: THIẾT KẾ PHẦN CỨNG 42

5.1 Yêu cầu thiết kế và quy trình vận hành của hệ thống 42

5.2 Lựa chọn, thiết kế phần cứng của Quadcopter 43

5.2.1 Lựa chọn, lắp ráp khung quadcopter 43

5.2.2 Thiết kế, tính toán lựa chọn động cơ 44

5.2.3 Tính toán lựa chọn bộ điều khiển tốc độ động cơ (ESC) 45

5.2.4 Tính toán lựa chọn cánh quạt 46

5.2.5 Lựa chọn pin cho hệ quadcopter 47

5.2.6 Lựa chọn bộ điều khiển từ xa cầm tay 47

5.2.7 Lựa chọn camera 48

5.2.8 Lựa chọn bộ điều khiển bay phù hợp 49

5.2.9 Lựa chọn cảm biến 52

5.2.10 Lựa chọn máy tính nhúng phù hợp 53

5.3 Sơ đồ nối dây của hệ thống 53

5.4 Thiết mô hình hệ thống 55

CHƯƠNG 6: THIẾT KẾ PHẦN MỀM 57

6.1 Thiết kế chương trình điều khiển 57

6.1.1 Yêu cầu thiết kế 57

6.1.2 Mô tả chương trình điều khiển 57

6.1.3 Lưu đồ giải thuật điều khiển 59

6.1.4 Xây dựng chương trình theo dõi tụ sứ 60

CHƯƠNG 7: KẾT QUẢ ĐẠT ĐƯỢC 62

7.1 Mô hình 62

7.2 Đánh giá mô hình học sâu 63

Một số tham số được sử dụng khi huấn luyện: 63

7.3 Đánh giá khả năng vận hành của mô hình 72

CHƯƠNG 8: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 75

8.1 Kết luận 75

8.1.1 Hiện trạng của hệ thống 75

8.1.2 Hạn chế của mô hình 76

8.2 Hướng phát triển của đề tài 76

TÀI LIỆU THAM KHẢO 77

PHỤ LỤC 1 80

PHỤ LỤC 2 81

PHỤ LỤC HÌNH ẢNH

Hình 2 1 Mối quan hệ giữa học sâu và trí tuệ nhân tạo [1] 6

Hình 2 2 Hình ảnh minh họa về tính chập [2] 7

Hình 2 3 Kiến trúc của mạng CNN [2] 8

Hình 2 4 Kiến trúc của mạng R-CNN [3] 10

Hình 2 5 Nhận dạng bằng YOLO [4] 11

Hình 2 6 Kiến trúc cơ bản của mạng Mask R-CNN [5] 12

Hình 2 7 Cấu trúc của SSD [6] 14

Hình 2 8 Mô tả chuyển động của quadcopter [7] 16

Hình 2 9 Hệ quy chiếu [8] 16

Hình 2 10 Sơ đồ bộ lọc Kalman trong quadcopter 19

Hình 2 11 Sơ đồ khối của bộ PID 20

Hình 2 12 Bộ điều khiển bay Dshot 21

Hình 2 13 Bộ điều khiển bay Pixhawk 2.4.8 22

Hình 2 14 Cấu tạo của 1 bộ điều khiển bay KK2.1.5 cơ bản 23

Hình 2 15 Máy tính nhúng 24

Hình 2 16 Cấu tạo của máy tính nhúng [9] 25

Hình 2 17 NVIDIA Jetson Nano 25

Hình 2 18 Cấu tạo của Jetson nano [10] 26

Hình 2 19 Sơ đồ chân của Jetson nano 27

Hình 2 20 Một số ứng dụng của Jetson nano vào thực tế 28

Hình 2 21 Giao diện MySql 29

Hình 3 1 Ví dụ về các mô hình nhận dạng một giai đoạn và hai giai đoạn [12] 33

Hình 3 2 Cách thức phân chia feature map để nhận diện các hình ảnh với những kích thước khác nhau [14] 34

Hình 3 3 Kiến trúc của SSD-Mobilenet-v1 [15] 35

Hình 4 1 Tổng qua hệ thống giám sát sứ điện 37

Hình 4 2 Thông số tiền xử lý cho bộ dataset 38

Hình 4 3 Cấu trúc dữ liệu của bộ dữ liệu sau khi xuất từ RoboFlow 39

Hình 4 4 Google Collab 39

Hình 4 5 Cấu hình của Google Collab (GPT T4, Ram 16gb Disk 78gb) 40

Hình 4 6 Thư viện TensorRT [16] 40

Hình 4 7 Đổi định dạng train sang định dạng TensorRT 41

Hình 5 1 Quy trình vận hành của hệ thống 42

Hình 5 2 Khung F450 phổ biến hiện nay 43

Hình 5 3 Động cơ A2212 không chổi than 930kv 44

Hình 5 4 Bộ điều khiển tốc điện từ (ESC) 45

Hình 5 5 Kích thước cánh quạt 46

Hình 5 6 Pin 2200mAh 60A 4 cell 47

Hình 5 7 Bộ thu phát tính hiệu MC6C 48

Hình 5 8 Camera Logitech C270 49

Hình 5.9 Bộ điều khiển bay Pixhawk 50

Hình 5.10 Các ứng dụng mà Pixhawk có thể hỗ trợ 51

Hình 5 11 Cảm biến lidar TF luna 52

Hình 5 12 Sơ đồ nối dây của hệ Quadcopter 54

Hình 5 14 Thiết kê mô hình hệ thống 56

Hình 6 1 Lưu đồ giải thuật điều khiển hệ thống 59

Hình 6 2 Lập trình trên Jetson nano bằng Python 60

Hình 6 3 Bộ công cụ jetson-inference [18] 60

Hình 6 4 Thuật toán điều khiển điểm đến điểm [19] 61

Hình 7 1 Quadcopter sau khi hoàn thiện 62

Hình 7 2 Hình ảnh drone hoạt động thử nghiệm 63

Hình 7 3 Qúa trình huấn luyện 65

Hình 7 4 Ảnh nhận diện đúng 66

Hình 7 5 Ảnh nhận diện đúng 66

Hình 7 6 Ảnh nhận diện đúng 67

Hình 7 7 Ảnh không nhận diện được 67

Hình 7 8 Qúa trình huấn luyện 68

Hình 7 9 Ảnh nhận diện đúng 69

Hình 7 10 Ảnh nhận diện đúng 70

Hình 7 11 Ảnh nhận diện đúng 70

Hình 7 12 Ảnh không nhận diện được (tụ dơ) 71

Hình 7 13 Ảnh không nhận diện được (tụ vỡ) 71

Hình 7 14 Ảnh không nhận diện được (tụ vỡ) 72

Hình 7 15 Hình ảnh thu được từ camera thể hiện khoảng cách giữa tâm của vật và tâm của camera so với vật 73

Hình 7 16 Hình ảnh thực tế khi drone bay tự động 73

Hình 7 17 Hình ảnh thu được từ camera nhận diện tụ sứ để bay tự động 74

PHỤ LỤC BẢNG

Bảng 7 1 Tham số được sử dụng khi huấn luyện cho cả 2 mô hình nhận dạng 64

Bảng 7 2 Dữ liệu thực nghiệm phát hiện sứ điện từ xa 64

Bảng 7 3 Thống kê kết quả nhận dạng tụ sứ ở khoảng cách xa (từ 94 ảnh thuộc bộ

dữ liệu Test) 65

Bảng 7 4 Dữ liệu thực nghiệm phát hiện sứ điện từ khoảng cách gần 68

Bảng 7 5 Thống kê kết quả nhận dạng tụ sứ ở khoảng cách gần (từ 100 ảnh thuộc

bộ dữ liệu Test) 69

CHƯƠNG 1: TỔNG QUAN

1.1 Đặt vấn đề

Biến đổi khí hậu và nhu cầu điện tăng cao đặt ra yêu cầu cấp thiết về đảm bảo hoạt động ổn định của lưới điện Tình trạng xuống cấp của các sứ điện là một mối đe dọa nghiêm trọng, làm giảm hiệu quả cách điện, tăng nguy cơ tiếp xúc và cháy nổ Trong bối cảnh nhu cầu tiêu thụ điện ngày càng tăng, việc duy trì sự ổn định và tin cậy của hệ thống điện là tối quan trọng Do đó, bảo vệ sứ điện trở thành nhiệm vụ trọng tâm Kiểm tra và bảo trì thường xuyên các sứ điện là cần thiết để đảm bảo chúng hoạt động tối ưu

và giảm thiểu nguy cơ hư hỏng

Phương pháp kiểm tra truyền thống, thường liên quan đến việc nhân viên kiểm tra đường dây phải leo lên cột điện cao áp, tiềm ẩn nhiều rủi ro Song hành với sự phát triển của cách mạng công nghiệp 4.0, việc tích hợp học sâu vào các hệ thống giám sát thông minh đã trở thành một công cụ không thể thiếu Nhằm giải quyết những thách thức này, chúng tôi đã phát triển "QUADCOPTER NHẬN DẠNG SỨ LỖI BẰNG KĨ THUẬT HỌC SÂU ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH", giúp cách mạng hóa

việc kiểm tra đường dây điện, tiết kiệm thời gian và nhân lực

1.2 Mục tiêu đề tài và giới hạn đề tài

Các mục tiêu và giới hạn thực hiện đề tài được đặt ra trước khi tiến hành:

Mục tiêu đề tài

Đề tài được thực hiện với những mục tiêu cụ thể như sau:

- Tạo ra hệ thống sát với thực tế, hoạt động ổn định dựa trên những yêu cầu thực

tế của hệ thống

- Lập mô hình AI với tỉ lệ chính xác trên 90%

- Thông tin về lỗi sẽ được hiển thị khi có lỗi xảy ra với hệ thống

- Giám sát và vận hành ở chế độ manual thông qua GUI điều khiển

- Quản lý các dự liệu bằng cơ sở dữ liệu MySql để cung cấp khả năng nhập liệu và kiểm tra kết quả từ xa

Giới hạn đề tài

Phần mô hình: Thiết kế mô hình sử dụng bộ điều khiển bay Pixhawk giúp điều khiển hệ thống bay giữ thăng bằng và đi đến sứ điện để ghi nhận kết quả bao gồm khung gắn 4 động cơ không chuổi than Phía trước mũi quadcopter là camera đảm nhiệm vai trò nhận dạng và đánh giá trạng thái của tụ sứ, lidar giúp giới hạn khoảng cách giữa drone và tụ sứ Ngoài ra, Jetson nano làm bộ xử lý trung tâm, khởi chạy mô hình AI và giao tiếp đưa chỉ thị cho Pixhawk

Phần chương trình điều khiển: Lập trình điều khiển bằng ngôn ngữ Python và khởi chạy mô hình sử dụng kĩ thuật học sâu Bộ phát hiện đã hộp một lần (Single Shot Multibox Detector-SSD) trên Jetson nano, giao tiếp với Pixhawk thông qua thư viện Dronekit Thông tin, dữ liệu của hệ thống được Jetson nano gửi về cơ sở dữ liệu MySql, giao diện lập trình bằng C# lấy thông tin từ cơ sở dữ liệu đưa đến trực quan cho người dung

1.3 Phương pháp nghiên cứu

Việc áp dụng kết hợp phương pháp nghiên cứu thực nghiệm và phương pháp nghiên cứu phân tích và tổng hợp đóng vai trò thiết yếu trong việc sử dụng mô hình SSD

để nhận dạng sứ điện một cách chính xác và đáng tin cậy

Phương pháp thực nghiệm: thu thập dữ liệu thực tế thông qua camera để ghi lại hình ảnh của sứ điện Dữ liệu này được sử dụng để xây dựng tập dữ liệu huấn luyện mô hình SSD Sử dụng camera để chụp ảnh sứ điện từ nhiều góc độ và điều kiện ánh sáng khác nhau Xác định và đánh dấu tập hợp điểm ảnh có vấn đề trên sứ điện như các khuyết tật, hư hỏng hoặc vết bẩn Gán nhãn cho các vùng quan tâm với các thông tin chi tiết về loại vấn đề và mức độ nghiêm trọng Sau đó, tạo tập dữ liệu được tạo ra từ các bước trên

sẽ được sử dụng để huấn luyện mô hình SSD nhận dạng và phân loại các vấn đề liên quan đến sứ điện

Phương pháp nghiên cứu phân tích và tổng hợp: Sau khi mô hình SSD được huấn luyện, phương pháp nghiên cứu phân tích và tổng hợp được áp dụng để đánh giá hiệu suất của mô hình Sử dụng mô hình SSD đã được huấn luyện để phân tích các hình ảnh

sứ điện mới Thu thập và tổng hợp các kết quả nhận dạng của mô hình SSD Đánh giá

độ chính xác và độ tin cậy của mô hình SSD trong việc nhận dạng các vấn đề trên sứ điện

1.4 Giới thiệu nội dung

Nội dung của bài báo cáo được trình bày thành các chương như sau:

Chương 1: Tổng quan

Giới thiệu tổng quan về đề tài, mục tiêu và giới hạn, phương pháp nghiên cứu và tóm tắt nội dung báo cáo

Chương 2: Cơ sở lý thuyết

Chương này trình bày về các phương pháp có thể thực hiện để đạt được yêu cầu của hệ thống và từ đó lựa chọn ra phương pháp tốt nhất

Chương 3: Thiết kế phần cứng hệ thống

Ở chương này trình bày về các yêu cầu về đáp ứng của phần cứng hệ thống Và từ

đó, phần cứng được thiết kế để đáp ứng những yêu cầu đã đưa ra và trình bày thông số

kĩ thuật của các thiết bị đã lựa chọn

Chương 4: Thiết kế phần mềm

Chương này nêu các yêu cầu khi thi công phần mềm của hệ thống để đáp ứng hoạt động của hệ thống Cùng với đó là việc thiết kế phần mềm điều khiển, giám sát sao cho đơn giản và dễ sử dụng, cũng như phù hợp với yêu cầu thực tế của hệ thống

Chương 5: Kết quả

Các kết quả đã đạt được của hệ thống so với mục tiêu ban đầu được trình bày ở chương này Đồng thời đưa ra hiệu suất làm việc của hệ thống đó

Chương 6: Kết luận và hướng phát triển

Chương này trình bày các kết quả rút ra được từ kết quả thực hiện đề tài và nêu lên các hướng phát triển của hệ thống trong tương lai

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1 Xử lý ảnh

Xử lý ảnh là một lĩnh vực rộng lớn trong khoa học máy tính, tập trung vào việc thao tác, phân tích và biến đổi hình ảnh kỹ thuật số Nó đóng vai trò quan trọng trong nhiều lĩnh vực khác nhau như nhiếp ảnh, y tế, an ninh, sản xuất, và giải trí

Nhiệm vụ cơ bản của quá trình xử lý ảnh là làm giàu thông tin, chất lượng hình ảnh và xử lý số liệu cung cấp cho các quá trình bao gồm cả việc ứng dụng thị giác máy

tính vào điều khiển

Xử lý ảnh là một công cụ mạnh mẽ với nhiều ứng dụng trong đời sống thực Nó giúp chúng ta cải thiện chất lượng hình ảnh, trích xuất thông tin từ hình ảnh, và tự động hóa các tác vụ phức tạp Nhờ những tiến bộ trong công nghệ, xử lý ảnh ngày càng trở nên phổ biến và đóng vai trò quan trọng trong nhiều lĩnh vực khác nhau

2.2 Học sâu và trí tuệ nhân tạo

Học sâu và trí tuệ nhân tạo (AI) đang là những lĩnh vực phát triển nhanh chóng nhất trong khoa học máy tính, mang đến những đột phá phi thường trong nhiều lĩnh vực Chúng ta đang chứng kiến sự bùng nổ của các ứng dụng AI trong đời sống hàng ngày,

từ nhận dạng khuôn mặt đến xe tự lái, trợ lý ảo đến dịch máy

Học sâu là một nhánh của trí tuệ nhân tạo sử dụng các mạng nơ-ron nhân tạo (ANN) được đào tạo trên một lượng lớn dữ liệu để học hỏi và thực hiện các nhiệm vụ phức tạp Khác với các mô hình học máy truyền thống, học sâu sử dụng nhiều lớp mạng nơ-ron xếp chồng lên nhau, cho phép mô hình học hỏi các đặc trưng trừu tượng và cấp cao hơn từ dữ liệu

Trí tuệ nhân tạo là một lĩnh vực nghiên cứu rộng lớn nhằm tạo ra các hệ thống máy tính có khả năng mô phỏng trí thông minh của con người AI bao gồm nhiều lĩnh vực con khác nhau như học máy, học sâu, xử lý ngôn ngữ tự nhiên, thị giác máy tính, v.v

Học sâu là một công cụ quan trọng cho trí tuệ nhân tạo Các mô hình học sâu có thể học hỏi từ dữ liệu một cách hiệu quả và chính xác, giúp giải quyết các vấn đề phức tạp mà các phương pháp truyền thống không thể giải quyết được Nhờ có học sâu, các

hệ thống AI ngày càng thông minh và có khả năng thực hiện nhiều nhiệm vụ như con người

Học sâu và AI đang mang lại những thay đổi to lớn cho xã hội và nền kinh tế Chúng ta có thể thấy tác động của chúng trong nhiều lĩnh vực như giao thông vận tải, sản xuất, y tế, giáo dục, giải trí, …

Hình 2 1 Mối quan hệ giữa học sâu và trí tuệ nhân tạo [1].

2.3 Mạng thần kinh tích chập

Trong lĩnh vực trí tuệ nhân tạo (AI), mạng nơ-ron tính chập (CNN) đóng vai trò then chốt trong xử lý hình ảnh và nhận dạng đối tượng Lấy cảm hứng từ cấu trúc và chức năng của thị giác con người, CNNs thể hiện khả năng phi thường trong việc trích xuất đặc trưng và phân loại các mẫu phức tạp từ hình ảnh

Tích chập là kỹ thuật được sử dụng trong xử lý ảnh, được sử dụng chủ yếu trong các phép toán lên ảnh như làm mịn ảnh hay làm sắc nét ảnh hay trích xuất biên cạnh ảnh

Cơ chế của tích chập được miêu tả như sau:

Hình 2 2 Hình ảnh minh họa về tính chập [2]

Hãy tưởng tượng bạn có một bức ảnh được chia thành các ô nhỏ, mỗi ô tương ứng với một điểm ảnh Giá trị của mỗi điểm ảnh trong ảnh được biểu thị bằng 0 (màu đen) hoặc 1 (màu trắng), tạo thành một ma trận ảnh Ma trận này lưu trữ thông tin về màu sắc của từng điểm ảnh trong bức ảnh Ma trận kernel, còn được gọi là filter hoặc feature detector, đóng vai trò như một "bộ lọc" được áp dụng lên ảnh đầu vào Nó có kích thước nhỏ (ví dụ: 3x3) và chứa các giá trị trọng số Mỗi giá trị trong ma trận kernel tương ứng với một điểm ảnh trong vùng tích chập Điểm neo xác định vị trí trung tâm của ma trận kernel trên ảnh đầu vào Vị trí này thường được đặt tại tâm của ma trận kernel để đảm bảo tính đối xứng trong phép tính chập Phép tích chập được thực hiện bằng cách di chuyển ma trận kernel trên ảnh đầu vào theo các bước nhất định (ví dụ: 1 pixel) Tại mỗi

vị trí, ma trận kernel được đặt sao cho điểm neo trùng với một điểm ảnh trên ảnh Các giá trị trong ma trận kernel được nhân với các giá trị điểm ảnh tương ứng tại vị trí hiện tại Kết quả của phép nhân được cộng lại và lưu trữ tại vị trí trung tâm của ma trận kernel trong ma trận đặc trưng Sau khi thực hiện phép tích chập trên toàn bộ ảnh đầu vào, ta thu được một ma trận mới gọi là ma trận đặc trưng Ma trận này có kích thước nhỏ hơn ảnh đầu vào do việc di chuyển và thu nhỏ của ma trận kernel Mỗi giá trị trong ma trận đặc trưng thể hiện mức độ kích hoạt của các đặc trưng cục bộ tại vị trí tương ứng trên ảnh đầu vào

Mạng thần kinh tích chập (CNN) là một loại mạng nơ-ron tiến truyền có từ 20 đến

30 lớp Tương tự như các mạng nơ-ron khác, CNN sử dụng hàm kích hoạt ReLU và có một lớp kết nối đầy đủ Hàm kích hoạt ReLU đảm bảo tính phi tuyến khi dữ liệu đi qua mỗi lớp, giúp duy trì các đặc điểm quan trọng của dữ liệu Lớp kết nối đầy đủ ở cuối mạng sẽ thực hiện phân loại trên tập dữ liệu Điểm khác biệt của CNN so với các mạng nơ-ron khác là nó có các lớp đặc biệt gọi là lớp tích chập (convolutional layer) và lớp gộp (pooling layer)

Hình 2 3 Kiến trúc của mạng CNN [2]

Lớp tích chập là lớp đầu tiên trích xuất các đặc trưng từ hình ảnh đầu vào, hoạt động bằng cách áp dụng một bộ lọc lên một vùng điểm ảnh Lớp này duy trì mối tương quan giữa các điểm ảnh bằng cách học các đặc trưng của hình ảnh từ các ô vuông nhỏ trong dữ liệu đầu vào Quá trình này sử dụng hai đầu vào: ma trận hình ảnh đầu vào và

bộ lọc, để tạo ra ma trận đặc trưng Ma trận đặc trưng là kết quả của bộ lọc được áp dụng lên lớp trước đó Bộ lọc được trượt qua từng điểm ảnh của lớp trước, mỗi vị trí kích hoạt một nơ-ron, và kết quả được thu thập trong ma trận đặc trưng

Lớp gộp giảm kích thước của bản đồ đặc trưng và giúp xử lý nhanh hơn bằng cách giảm tổng số tham số mà mạng cần xử lý Có hai khía cạnh đáng chú ý của CNN là Sự bất biến của vị trí (Location Invariance) và Tính tổng hợp (Compositionality)

- Sự bất biến của vị trí (Location Invariance): Giả sử ta muốn phân loại xem

có đối tượng cần nhận dạng trong một hình ảnh hay không Bởi vì ta trượt

bộ lọc qua toàn bộ hình ảnh, vị trí của đối tượng không quan trọng Lớp gộp

còn mang lại sự bất biến đối với dịch (translation), xoay (rotation) và chia

tỷ lệ (scaling)

- Tính tổng hợp (Compositionality): Mỗi bộ lọc tạo ra một bản vá cục bộ của các đặc trưng cấp thấp hơn thành các biểu diễn cấp cao hơn Điều này có nghĩa là CNN xây dựng các cạnh từ pixel, hình dạng từ các cạnh, và các đối tượng phức tạp hơn từ các hình dạng

2.4 Các phương pháp nhận dạng đối tượng

Nhận dạng đổi tượng (còn được gọi là nhận dạng vật lý) là quá trình nhận biết và phân biệt các đối tượng dựa trên các đặc điểm vật lý đặc trưng của chúng Trong lĩnh vực khoa học máy tính và trí tuệ nhân tạo, nhận dạng đổi tượng đã trở thành một lĩnh vực nghiên cứu quan trọng, đặc biệt trong việc phát triển các hệ thống tự động nhận dạng hình ảnh và video

Nhận dạng đối tượng, đóng vai trò cốt lõi trong thị giác máy tính, là chìa khóa giúp máy móc "nhìn nhận" và "hiểu biết" thế giới xung quanh Để hiện thực hóa điều này, các thuật toán đóng vai trò then chốt, cung cấp nền tảng cho các hệ thống nhận dạng đối tượng hoạt động hiệu quả

Các phương pháp nhận dạng đối tượng phổ biển hiện nay:

a) R-CNN (Region-based Convolutional Neural Networks)

R-CNN là một dạng mở rộng của CNN, nơi các vùng đáng chú ý trong hình ảnh được xác định trước bằng các kỹ thuật phát hiện vùng (ví dụ như Selective Search) Sau

đó, các vùng này được áp dụng các lớp tích chập để trích xuất đặc trưng và lớp kết nối đầy đủ để phân loại R-CNN cải thiện khả năng nhận dạng và tăng tốc quá trình bằng cách giảm số lượng vùng cần xử lý so với phương pháp truyền thống

Hình 2 4 Kiến trúc của mạng R-CNN [3]

Đặc điểm chính của R-CNN là sự kết hợp giữa việc sử dụng mạng thần kinh tích chập (CNN) để trích xuất đặc trưng và các kỹ thuật phát hiện vùng (region proposal) để xác định các vùng đối tượng trên hình ảnh Quá trình hoạt động của R-CNN bao gồm Tạo ra các đề xuất vùng (Region Proposals): Trước khi áp dụng CNN, R-CNN sử dụng các kỹ thuật như Selective Search để tạo ra các đề xuất vùng ứng viên trên hình ảnh Các đề xuất này đại diện cho những vùng có khả năng chứa đối tượng

Trích xuất đặc trưng: Sau khi có các đề xuất vùng, mỗi vùng sẽ được cắt ra từ hình ảnh gốc và được đưa vào mạng CNN để trích xuất các đặc trưng Các đặc trưng này sẽ được sử dụng để đại diện cho các đối tượng có trong từng vùng

Phân loại và định vị: Các đặc trưng trích xuất từ mạng CNN được đưa vào các lớp kết nối đầy đủ (fully-connected layers) để phân loại đối tượng và dự đoán vị trí của chúng trên hình ảnh ban đầu

Điều chỉnh vị trí (Bounding Box Regression): Sau khi phân loại, R-CNN còn thực hiện điều chỉnh lại vị trí của các hộp giới hạn (bounding boxes) dựa trên các dự đoán ban đầu để cải thiện chính xác

Nhờ sự kết hợp giữa các đề xuất vùng và mạng CNN, R-CNN có thể xử lý những hình ảnh có nhiều đối tượng và đưa ra các kết quả phân loại và định vị chính xác Tuy

nhiên, điểm yếu của R-CNN là tốc độ chậm do cần phải tính toán độc lập cho từng đề xuất vùng, điều này đã được cải thiện bởi các phiên bản nhanh hơn như Fast R-CNN và Faster R-CNN

b) YOLO (You Only Look Once)

YOLO là một phương pháp tiên tiến trong việc nhận dạng đối tượng thời gian thực

Nó sử dụng một mạng nơ-ron đơn giản nhưng hiệu quả để dự đoán các hộp giới hạn và lớp của các đối tượng trực tiếp trên toàn bức ảnh chỉ trong một lần chạy mạng YOLO

có khả năng đáp ứng nhanh và phù hợp cho các ứng dụng yêu cầu nhận dạng nhanh chóng như xe tự lái và giám sát video

Hình 2 5 Nhận dạng bằng YOLO [4]

Đặc điểm chính của YOLO là khả năng dự đoán các vùng đối tượng và lớp của chúng trực tiếp trên toàn bức ảnh chỉ trong một lần chạy mạng Điều này khác với các phương pháp truyền thống như R-CNN, mà cần phải thực hiện nhiều lần chạy mạng cho từng vùng đề xuất Các ưu điểm của YOLO:

Độ chính xác cao: YOLO cung cấp độ chính xác cao trong việc nhận dạng đối tượng trên các bức ảnh và video

Thời gian thực: Nhờ vào việc chỉ cần một lần chạy mạng cho toàn bức ảnh, YOLO

có khả năng nhận dạng đối tượng thời gian thực, thích hợp cho các ứng dụng như giám sát video, xe tự lái,

Hiệu suất: YOLO làm giảm thiểu đáng kể số lượng tham số và lượng tính toán so với các phương pháp truyền thống như R-CNN, làm cho nó trở thành một giải pháp hiệu quả hơn về mặt tính toán

Đơn giản và dễ triển khai: Kiến trúc của YOLO đơn giản và dễ hiểu, cho phép triển khai và sử dụng trong các ứng dụng thực tế một cách dễ dàng

Từ khi ra đời, YOLO đã có nhiều phiên bản cải tiến như YOLOv2, YOLOv3 và YOLOv4, mỗi phiên bản mang lại sự cải thiện về độ chính xác và tốc độ so với phiên bản trước đó YOLO tiếp tục là một trong những công cụ mạnh mẽ và được ứng dụng rộng rãi trong cộng đồng nghiên cứu và thực tiễn Thị giác máy tính hiện đại

c) Mask R-CNN

Mask R-CNN là một biến thể của R-CNN được phát triển để giải quyết bài toán nhận dạng và phân đoạn đối tượng Nó không chỉ dự đoán các vùng đối tượng mà còn tạo ra mặt nạ đồng thời cho từng đối tượng, giúp cải thiện chính xác trong phân đoạn đối tượng

Hình 2 6 Kiến trúc cơ bản của mạng Mask R-CNN [5]

Đặc điểm chính của Mask R-CNN:

Phân đoạn đối tượng (Instance Segmentation): Mask R-CNN không chỉ có khả năng dự đoán vị trí và phân loại đối tượng như R-CNN mà còn tạo ra mặt nạ (mask) chi tiết cho từng đối tượng được phát hiện trong hình ảnh Điều này cho phép nó phân biệt được giữa các đối tượng gần nhau hoặc chồng lấn trên cùng một hình ảnh

Sử dụng mạng thần kinh tích chập (CNN): Mask R-CNN sử dụng mạng CNN để trích xuất đặc trưng từ các vùng ứng viên (region proposals) như trong R-CNN Các vùng đề xuất này sau đó được đưa qua các lớp tích chập để phân loại và dự đoán vị trí của các đối tượng

Mô hình học sâu (Deep Learning): Nhờ vào sự phát triển của mạng CNN và các

kỹ thuật học sâu, Mask R-CNN có khả năng học và tự động điều chỉnh các tham số để cải thiện độ chính xác và hiệu suất của mô hình

d) SSD (Single Shot MultiBox Detector)

Bộ phát hiện đa hộp 1 lần (SSD) là một thuật toán học sâu tiên tiến được sử dụng cho việc nhận dạng đối tượng trong ảnh và video So với các phương pháp truyền thống, SSD mang lại hiệu quả và độ chính xác cao hơn, đồng thời có khả năng phát hiện nhiều đối tượng trong một lần xử lý ảnh

SSD hoạt động dựa trên mạng nơ-ron tích chập (CNN), một loại mô hình học sâu đặc biệt hiệu quả trong việc xử lý hình ảnh CNN được đào tạo trên một tập dữ liệu lớn gồm ảnh có chú thích, giúp nó học cách trích xuất các đặc trưng quan trọng từ ảnh và phân loại chúng thành các lớp đối tượng tương ứng

SSD sử dụng một kiến trúc mạng nơ-ron được tối ưu hóa cho việc phát hiện đối tượng, bao gồm các giai đoạn:

Giai đoạn trích xuất đặc trưng: SSD sử dụng CNN để trích xuất các đặc trưng từ ảnh đầu vào CNN được cấu tạo bởi nhiều lớp nơ-ron được sắp xếp theo các khối (block) Mỗi lớp nơ-ron thực hiện các phép toán toán học trên dữ liệu đầu vào và truyền kết quả sang lớp tiếp theo Ảnh đầu vào được chia thành các ô vuông nhỏ gọi là pixel Mỗi pixel

có giá trị đại diện cho màu sắc và độ sáng tại vị trí đó CNN sử dụng các bộ lọc (filter)

để trích xuất các đặc trưng từ các ô vuông pixel lân cận Các đặc trưng này được biểu diễn dưới dạng các ma trận kích thước nhỏ hơn ảnh gốc, nhưng vẫn chứa thông tin quan trọng về các đối tượng trong ảnh SSD sử dụng một kiến trúc mạng nơ-ron được tối ưu hóa cho việc phát hiện đối tượng, bao gồm:

- VGG-16: Đây là một kiến trúc CNN phổ biến được sử dụng làm nền tảng

cho SSD VGG-16 có 16 lớp nơ-ron được sắp xếp thành 5 khối

- Các lớp bổ sung: SSD bổ sung thêm các lớp nơ-ron vào VGG-16 để thực

hiện các nhiệm vụ cụ thể như dự đoán vị trí và lớp của các đối tượng

Hình 2 7 Cấu trúc của SSD [6]

Giai đoạn dự đoán: SSD sử dụng một kỹ thuật gọi là "phát hiện đa hộp" để dự đoán

nhiều đối tượng trong một lần xử lý ảnh Thay vì sử dụng các cửa sổ trượt (sliding window) như các phương pháp truyền thống, SSD sử dụng một tập hợp các hộp cố định (anchor box) được đặt trước trên ảnh Mỗi hộp cố định có kích thước và tỷ lệ khung hình khác nhau Sau đó, các ma trận đặc trưng được truyền qua một loạt các lớp dự đoán để xác định vị trí và lớp của các đối tượng trong ảnh Mỗi hộp cố định được kết nối với một lớp dự đoán để dự đoán xem nó có chứa đối tượng hay không và đối tượng đó thuộc lớp nào SSD sử dụng một hàm mất kết hợp hai loại mất: mất vị trí (location loss) và mất lớp (classification loss) Mất vị trí đo lường độ sai lệch giữa vị trí dự đoán và vị trí thực

tế của đối tượng Mất lớp đo lường độ sai lệch giữa lớp dự đoán và lớp thực tế của đối tượng

Giai đoạn xử lý hậu: Các dự đoán từ giai đoạn trước được xử lý để loại bỏ các hộp

cố định có điểm dự đoán thấp hoặc trùng lặp nhau SSD sử dụng các kỹ thuật như Maximum Suppression (NMS) để chọn ra hộp cố định chính xác nhất cho mỗi đối tượng trong ảnh SSD xuất ra danh sách các đối tượng được phát hiện, bao gồm vị trí, lớp và điểm tin cậy (confidence score) cho mỗi đối tượng

Non-2.5 Giới thiệu về drone

Drone tứ cánh, hay còn gọi là quadcopter, là loại máy bay không người lái (UAV) được trang bị bốn cánh quạt quay theo hướng đối xứng, tạo ra lực nâng và mô-men cho phép bay theo nhiều hướng linh hoạt Nhờ thiết kế đơn giản, hiệu quả và khả năng điều khiển ổn định, quadcopter ngày càng trở nên phổ biến trong nhiều lĩnh vực, từ giải trí, nhiếp ảnh đến công nghiệp và nghiên cứu khoa học

Nguyên lý hoạt động của quadcopter bao gồm 3 yếu tố sau:

- Lực nâng: Khi các cánh quạt quay, chúng tạo ra lực nâng theo hướng ngược chiều, giúp quadcopter bay lên

- Mô-men: Tốc độ quay khác nhau của các cánh quạt tạo ra mô-men, giúp quadcopter xoay theo các hướng mong muốn (như trái, phải, tiến, lùi)

- Ổn định: Bộ điều khiển bay sử dụng dữ liệu từ các cảm biến để liên tục điều chỉnh tốc độ động cơ, giữ cho quadcopter bay cân bằng và ổn định

Drone được xem như một đối tượng tự do với 6 bậc tự do, điều này có nghĩa là có

6 biến x, y, z, φ, θ, ψ được dùng để mô tả vị trí của Drone trong không gian Các biến này đóng vai trò quan trọng trong việc điều chỉnh cả chuyển động tịnh tiến và chuyển động xoay của Quadcopter Biến x, y, z thể hiện khoảng cách từ trung tâm của Drone tới gốc tọa độ ban đầu theo các trục x, y, z tương ứng Trong khi đó, các biến ϕ, θ, ψ là các góc Euler, mô tả các góc quay của Drone Góc ϕ là góc roll, thể hiện sự quay theo trục x Góc θ là góc pitch, biểu thị sự quay theo trục y Cuối cùng, góc ψ là góc yaw, mô

tả sự quay theo trục z Thường góc roll và pitch được gọi là góc nghiêng của Drone, trong khi góc yaw là hướng mũi của Drone Trong tình huống chuyển động thẳng, khoảng cách từ mặt đất tới Drone được gọi là độ cao, trong khi x và y đại diện cho vị trí của Drone trong không gian

Hình 2 8 Mô tả chuyển động của quadcopter [7]

2.6 Động lực học và ma trận chuyển đổi trục của drone

Nguyên tắc hoạt động cơ bản của quadcopter là sử dụng sức đẩy tạo ra từ luồng không khí được tạo ra bởi các cánh quạt để tạo ra sự di chuyển lên và xuống Bằng cách điều chỉnh tốc độ của từng động cơ, quadcopter có thể thay đổi hướng di chuyển của mình Để mô tả chuyển động của quadcopter khung cứng 6 bậc tự do cần 2 hệ quy chiếu,

𝑒𝑒 là hệ quy chiếu quán tính của trái đất và 𝑒𝑞 là hệ quy chiếu của khung quadcopter

Hình 2 9 Hệ quy chiếu [8]

Quadrocopter được định hướng bởi 3 góc Euler qua ma trận xoay R:

Các góc Euler giữa hệ vật và hệ quán tính 𝜙, 𝜃, 𝜓:

Lực sinh ra cho các rotor là 𝐹𝑖 = 𝑏 𝜔𝑖2, i=1,2,3,4 (tượng đương với 4 motor) Khi đó lực nâng cho cả quadcopter là:

𝑇 = ∑ |𝐹𝑖|

4

𝑖=1

= ∑ 𝜔𝑖24

) − 𝑅 𝑇

𝑚(

001

𝑔(𝑢) = 𝑢1+ 𝑢2− 𝑢3− 𝑢4 (2.5)

Từ (2.3), (2.4), (2.5), ta có phương trình động lược của quadcopter:

𝑥̈ = −(𝑐𝑜𝑠𝜙𝑠𝑖𝑛𝜃𝑐𝑜𝑠𝜓 + 𝑠𝑖𝑛𝜙𝑠𝑖𝑛𝜓).𝑢1

𝑚𝑦̈ = −(𝑐𝑜𝑠𝜙𝑠𝑖𝑛𝜃𝑠𝑖𝑛𝜓 − 𝑠𝑖𝑛𝜙𝑐𝑜𝑠𝜓).𝑢1

𝑚𝑧̈ = 𝑔 − (𝑐𝑜𝑠𝜙𝑐𝑜𝑠𝜃).𝑢1

𝑚𝜙̈ = 𝜃̇𝜓̇ (𝐼𝑦− 𝐼𝑧

Quadcopters sử dụng nhiều cảm biến để theo dõi và điều khiển vị trí, hướng, và tốc độ Tuy nhiên, dữ liệu từ các cảm biến thường bị nhiễu và không chính xác do nhiều yếu tố như dao động của cơ thể, tác động từ môi trường, và sai số cảm biến Bộ lọc Kalman giúp cải thiện độ chính xác của dự đoán vị trí và hướng bay của quadcopter bằng cách tích hợp các dữ liệu đo từ cảm biến và mô hình dự đoán chuyển động của quadcopter

Bộ lọc Kalman có thể tích hợp các dữ liệu từ GPS, IMU (Inertial Measurement Unit), và các cảm biến khác để ước lượng vị trí và hướng của quadcopter Nó giúp loại

bỏ nhiễu và sai số từ các dữ liệu đo và cải thiện độ chính xác của ước lượng

Trong quá trình điều khiển tự động, bộ lọc Kalman có thể giúp dự đoán và ước lượng trạng thái của quadcopter để điều chỉnh tốc độ quay của các động cơ và giữ cho quadcopter ổn định trong không gian

Với x𝑘 là vector trạng thái của quadcopter tại thời điểm k Bao gồm vị trí (position), vận tốc (velocity), gia tốc (acceleration), hoặc các biến khác như góc quay (orientation) của quadcopter, 𝑢𝑘 là vector điều khiển (control input) tại thời điểm k và 𝐴𝑘 và 𝐵𝑘 lần lượt là ma trận chuyển đổi trạng thái (mô tả chuyển đổi từ k-1 đến k) và ma trận điều khiển, bước đầu dự đoán trạng thái tiếp theo:

Hình 2 10 Sơ đồ bộ lọc Kalman trong quadcopter

Bằng một số phương pháp đo lường, tại thời điểm k, một quan sát 𝑍𝑘về trạng thái thực 𝑥𝑘 được thực hiện theo:

H là ma trận biến đổi ánh xạ các tham số vectơ trạng thái, 𝑄𝑘 là nhiễu quá trình

2.8 Bộ điều khiển PID

Bộ điều khiển PID là một trong những bộ điều khiển phản hồi phổ biến nhất được

áp dụng rộng rãi trong các bộ điều khiển bay quadcopter, nhờ vào thiết kế đơn giản và

sự ít phức tạp trong việc triển khai Nó đã chứng minh hiệu quả cao không chỉ trong mô phỏng mà còn trong các thử nghiệm thực tế trên các hệ thống Lợi thế lớn nhất của bộ điều khiển này là không cần phải có kiến thức sâu về động lực học của hệ thống mà chỉ cần dựa vào phương pháp tiếp cận phản hồi của bộ điều khiển Phương pháp này xác

định và điều chỉnh sai số giữa giá trị mong muốn và giá trị đo được bằng các công thức tính toán phù hợp như:

Với Err là sai số, Setpoint là giá trị mong muốn và Feedback là phản hồi thực tế của hệ thống

Hình 2 11 Sơ đồ khối của bộ PID

Bộ điều khiển PID đóng vai trò quan trọng trong việc điều khiển bay ổn định cho quadcopter, gồm tỉ lệ (P): phản hồi theo sai lệch hiện tại giữa giá trị mong muốn và giá trị thực tế, ý hiệu là KP, độ lợi càng lớn, phản hồi càng mạnh mẽ nhưng cũng dễ dẫn đến dao động; tích phân (I): phản hồi theo tích lũy sai lệch theo thời gian, ký hiệu là Ki, giúp loại bỏ sai lệch ổn định, tuy nhiên cần điều chỉnh hợp lý để tránh tích lũy quá mức; vi phân (D): dự đoán sai lệch trong tương lai dựa trên tốc độ thay đổi sai lệch hiện tại, ký hiệu là Kd, giúp phản ứng nhanh với những thay đổi đột ngột, nhưng cần cẩn thận vì dễ gây nhiễu cao tần Với u(t) là thông số điều khiển của hệ thống, e(t) là sai số của giá trị mong muốn và giá trị thực tế, bộ điều khiển PID của quadcopter được viết theo công thức sau:

𝑢(𝑡) = 𝐾𝑃 𝑒(𝑡) + 𝐾𝐼 ∫ 𝑒(𝑡) + 𝐾𝐷.𝑑𝑒(𝑡)

𝑑𝑡

(2.12)

Hiện nay, có rất nhiều bộ điều khiển bay đã tích hợp bộ điều khiển PID vào nhiệm

vụ điều khiển, thăng bằng cho quadcopter nói riêng và các drone nói chung nên nhiều

bộ điều khiển bay đã phát triển các công nghệ tự động tinh chỉnh độ lợi của PID như chế

độ bay Autotune của bộ điều khiển bay Pixhawk (tự động thích ứng đặc tính của môi trường để tự điều chỉnh các thông số của PID)

2.9 Bộ điều khiển bay

Bộ điều khiển bay, hay còn gọi là “Flight Controller”, đóng vai trò như "bộ não"

cho quadcopter, là bộ phận trung tâm chịu trách nhiệm điều khiển và quản lý mọi hoạt động của máy bay không người lái Nó được ví như trung tâm xử lý thông tin, nơi tiếp nhận dữ liệu từ các cảm biến, xử lý thông tin và đưa ra các tín hiệu điều khiển phù hợp

để quadcopter thực hiện các thao tác bay như cất cánh, hạ cánh, di chuyển, xoay, tiến, lùi,…

Hình 2 12 Bộ điều khiển bay Dshot

Hình 2 13 Bộ điều khiển bay Pixhawk 2.4.8

Bộ điều khiển bay bao gồm các thành phần chính sau:

Cảm biến: Gồm gia tốc kế, con quay hồi chuyển, áp kế, GPS và các cảm biến khác, giúp thu thập thông tin về vị trí, hướng, tốc độ và độ cao của drone trong suốt quá trình bay Có thể sử dụng cảm biến mua ngoài hoặc sử dụng cảm biến có sẵn trong bộ điều khiển

Bộ xử lý: Được xem như "trái tim" của bộ điều khiển bay, nơi xử lý dữ liệu từ các cảm biến Bộ này thực hiện các thuật toán điều khiển và phát ra các tín hiệu điều khiển phù hợp, quyết định các hoạt động của drone

Bộ điều khiển động cơ: Nhận tín hiệu điều khiển từ bộ xử lý và điều khiển tốc độ quay của các động cơ Chức năng này quyết định và điều chỉnh các chuyển động của drone theo yêu cầu Băm xung vào các driver ESC đẻ điều khiển động cơ

Giao tiếp: Được sử dụng để liên kết drone với bộ điều khiển từ xa, máy tính hoặc các thiết bị di động khác Kết nối này cho phép người điều khiển giám sát và điều khiển các hoạt động bay của drone một cách hiệu quả và an toàn Thường là các chuẩn radio, wifi để giao tiếp với máy tính

Hình 2 14 Cấu tạo của 1 bộ điều khiển bay KK2.1.5 cơ bản

Bộ điều khiển bay có vai trò điều khiển mọi hoạt động bay, từ cất cánh, hạ cánh,

di chuyển đến xoay theo các lệnh điều khiển từ người dùng Nó cũng đảm bảo ổn định trong quá trình bay, chống lại nhiễu động từ môi trường và đảm bảo drone ổn định mượt

mà và chính xác Bên cạnh đó, bộ điều khiển bay còn tích hợp tính năng tự động như bay theo GPS, quay trở lại điểm xuất phát và hạ cánh khẩn cấp Cuối cùng, nó còn cho phép cập nhật phần mềm để cải thiện hiệu suất và thêm các tính năng mới vào hệ thống điều khiển bay của drone, giúp tương tác với người dùng thuận tiện hơn

2.10 Máy tính NVIDIA Jetson Nano

2.10.1 Máy tính nhúng

Máy tính nhúng (Embedded Computer) là một loại máy tính được thiết kế chuyên biệt để thực hiện một hoặc một số chức năng cụ thể, được tích hợp vào các hệ thống hoặc thiết bị khác Nó khác với máy tính thông thường ở chỗ nó không có giao diện người dùng đầy đủ như màn hình, bàn phím, chuột, mà giao tiếp trực tiếp với các phần cứng khác trong hệ thống