Nâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cường

Nâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cườngNâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cường

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

NGUYỄN QUY TÔN

NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN

TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNG

ĐỀ ÁN TỐT NGHIỆP THẠC SĨ HỆ THỐNG THÔNG TIN

Hà Nội – 2024

MỤC LỤC

LỜI CAM ĐOAN i

MỤC LỤC ii

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT v

DANH MỤC BẢNG BIỂU vi

DANH MỤC HÌNH ẢNH vii

MỞ ĐẦU 1

CHƯƠNG 1 - TỔNG QUAN BÀI TOÁN 6

1.1 TỔNG QUAN VỀ HỆ THỐNG MẠNG TRUYỀN DẪN UAV 6

1.1.1 Giới thiệu về UAV 6

1.1.2 Giới thiệu về mạng truyền thông di động 8

1.1.2 Giới thiệu về mạng truyền tin sử dụng UAV 11

1.2 XÁC ĐỊNH VẤN ĐỀ HIỆU SUẤT BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV 13

1.2.1 Tình hình nghiên cứu trong nước 13

1.2.2 Tình hình nghiên cứu nước ngoài 16

1.3 KẾT LUẬN CHƯƠNG 18

CHƯƠNG 2 – GIẢI PHÁP NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV 19

2.1 MÔ HÌNH HỆ THỐNG MẠNG TRUYỀN TIN UAV 19

2.2.1 Mô hình hệ thống 19

2.2.1 Mô hình truyền dẫn tín hiệu 20

2.2 CÁC KỸ THUẬT HỌC MÁY 28

2.2.1 Học tăng cường 28

2.2.2 Markov Decision Process 30

2.2.3 Q-Learning 35 2.2.4 Deep Q-Networks 39

2.3 KẾT LUẬN CHƯƠNG 44

CHƯƠNG 3 – THỰC NGHIỆM VÀ ĐÁNH GIÁ 45

3.1 TỔNG QUAN VỀ PHƯƠNG PHÁP THỰC HIỆN 45

3.1.1 Giới thiệu phương pháp mô phỏng 45

3.1.2 Ưu điểm của phương pháp mô phỏng 46

3.1.3 Nhược điểm của phương pháp mô phỏng 47

3.2 KỊCH BẢN THỰC NGHIỆM 48

3.2.1 Thiết kế môi trường 48

3.2.2 Thiết lập phần thưởng 49

3.2.3 Tham số mô phỏng 49

3.2.4 Giả định 51 3.3 QUY TRÌNH THỰC NGHIỆM 51

3.3.1 Khởi tạo tham số hệ thống 51

3.3.2 Xây dựng thuật toán 53

3.3.3 Đánh giá và phân tích kết quả 58

3.3 KẾT QUẢ THỰC NGHIỆM 59

3.3.1 Tính hội tụ của thuật toán 60

3.3.2 Đánh giá dung lượng bảo mật theo số lượng nghe lén 62

3.3.3 Đánh giá dung lượng bảo mật theo độ cao bay của UAV 63

3.4 KẾT LUẬN CHƯƠNG 65

KẾT LUẬN VÀ KIẾN NGHỊ 66

TÀI LIỆU THAM KHẢO 68

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Viết tắt

UAV

Unmanned Aerial Vehicle Phương tiện bay không người láiABS Aerial Base Stations Trạm cơ sở

SINR Signal-to-Interference plus Chỉ số đo lường chất lượng tín

IoT Internet of Things Internet vạn vật

NLoS Non Line of Sight Tín hiệu truyền có vật cản

UAV-BS Unmanned Aerial Vehicle Mạng truyền tin liên kết giữa

trạm Base Station phát và phương tiện bay không

người lái

nhiễu có trong tín hiệu

RL Reinforcement Learning Học tăng cường

MDP Markov Decision Process Quy trình quyết định của Markov

DANH MỤC BẢNG BIỂU

Bảng 3.1 Các tham số khởi tạo của hệ thống mạng truyền tin 52Bảng 3.2 Các tham số khởi tạo của học tăng cường 53Bảng 3.3 Thuật toán DQN 57

DANH MỤC HÌNH ẢNH

Hình 1.1 Hình ảnh UAV 6

Hình 1.2 Mô hình truyền thông hỗ trợ bởi UAV - BS 12

Hình 1.3 Mô hình truyền thông hỗ trợ bởi thiết bị IoT 13

Hình 2.1 Mô hình hệ thống mạng truyền tin UAV 19

Hình 2.2 Mối quan hệ trong học tăng cường 28

Hình 2.3 Nguyên lý hoạt động của mô hình MDP 32

Hình 2.4 Hành động của thuật toán Q-Learning 38

Hình 2.5 Kiến trúc của DQN 40

Hình 2.6 Quy trình phát lại trải nghiệm 42

Hình 3.1 Huấn luyện UAV sử dụng DQN 56

Hình 3.2 Kết quả mô phỏng đường di chuyển của UAV 60

Hình 3.3 Dung lượng bảo mật của hệ thống theo từng thuật toán 61

Hình 3.4 Dung lượng bảo mật của hệ thống theo số lượng nghe lén 62

Hình 3.5 Dung lượng bảo mật của hệ thống theo chiều cao bay UAV 63

Hình 3.6 Xác nhận trình bày tại CISCE 2024 64

đó có thể cung cấp liên lạc không dây với thiết bị dưới mặt đất một cách hiệuquả, nhanh chóng cho nhiều tình huống thực tế Đặc biệt khi triển khai truyềnthông tín hiệu sử dụng UAV có thể thực hiện cung cấp kết nối mà không cầntriển khai cơ sở hạ tầng phức tạp và chất lượng đường truyền tín hiệu của nó ít

bị ảnh hưởng bởi các tòa nhà cao tầng, điều kiện thời tiết, thảm họa thiênnhiên so với các trạm gốc mặt đất

Sử dụng UAV trong hệ thống liên lạc không dây mang lại rất nhiều ưuđiểm tuy nhiên việc triển khai hệ thống trong thực tiễn đòi hỏi phải giải quyếtcác vấn đề bảo mật thông tin rất phức tạp Sự can thiệp trong kết nối giữathiết bị của người dùng và UAV phục vụ nó do các UAV khác gây ra hoặcđặc biệt do những người nghe lén là một vấn đề quan trọng gây ra nhiều khókhăn khi triển khai hệ thống Ngoài ra khi triển khai phải tính đến sự dichuyển của người dùng và sự gia tăng của thiết bị nghe lén để điều khiểnUAV sao cho hệ thống liên lạc là tốt nhất Nâng cao hiệu quả bảo mật giúphạn chế các dữ liệu bị xâm nhập một cách trái phép Tránh cho các mối hiểmhọa về an ninh an toàn của người sử dụng mà rộng hơn là an ninh của doanhnghiệp, quốc gia có thể diễn ra

Đây là một vấn đề khó, tính ứng dụng thực tiễn cao vì vậy học viên đãthực hiện nghiên cứu các thuật toán học máy có thể áp dụng để giải quyết vấn

đề đặt ra Nhận thấy phương pháp ứng dụng học tăng cường là một phương

pháp hiệu quả có thể ứng dụng để giải quyết bài toán Ứng dụng học tăngcường trong UAV mang lại tiềm năng cực lớn để cải thiện khả năng tự độnghóa, khả năng di chuyển để tối ưu hóa hiệu quả truyền tin mạng lại nhiều lợiích cho hiện tại và tương lai.

Với những lý do trên học viên quyết định lựa chọn đề tài “Nâng caohiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cường” cho đề

án tốt nghiệp thạc sĩ của mình Đề tài này thúc đẩy sự tích hợp giữa những xuhướng nổi bật trong lĩnh vực công nghệ bao gồm trí tuệ nhân tạo, học máyứng dụng vào hệ thống truyền thông tín hiệu Qua đó nó không chỉ là một đềtài mang ý nghĩa lý thuyết mà còn mang lại giá trị thực tế bằng cách đáp ứngnhu cầu ngày càng tăng về sự an toàn và hiệu suất trong ứng dụng UAVđương đại

Tổng quan đề tài

Trong đề tài này, vấn đề lập kế hoạch chuyển động của các UAV được

hỗ trợ bởi trí tuệ nhân tạo bằng cách xem xét vị trí, chuyển động của ngườidùng và người nghe lén dưới mặt đất bên cạnh đó cũng phải tính đến sự nhiễu

do các UAV đang cùng hoạt động gây ra sao cho tín hiệu được truyền đếnngười dùng là nhiều nhất và loại bỏ hoặc giảm thiểu tối đa tín hiệu mà đốitượng nghe lén có thể thu được Đề án sẽ cung cấp giải pháp có thể mở rộngcho nhiều môi trường thực nghiệm

Với mong muốn đạt được một giải pháp có thể mở rộng cho nhiều môitrường nên trong đề tài này quyết định sử dụng phương pháp học tăng cường(Reinforcement learning) Môi trường sẽ chứa một mô hình hệ thống bao gồmcác mô hình di động, mô hình truyền tải để tính toán tốc độ truyền tin giữaUAV và UE mà UAV liên kết đến Phần thưởng (Reward) và trạng thái(State) nhằm đáp ứng các yêu cầu cơ bản của học tăng cường và cung cấp cho

các tác nhân đào tạo phù hợp để lập kế hoạch quỹ đạo của chúng một cách tối

ưu ngay cả khi có sự thay đổi vị trí của các UE Trong đề tài này học viênthực hiện ứng dụng nhiều thuật toán học tăng cường khác nhau để chứngminh khả năng đáp ứng của phương pháp học tăng cường với bài toán đặt ra

Kết quả đạt được: Mô phỏng được quỹ đạo di chuyển của UAV trongmôi trường cho hiệu quả bảo mật kênh truyền từ UAV đến thiết bị người dùngcuối là cao nhất

Mục tiêu nghiên cứu

Mục tiêu của đề tài là tìm hiểu các mô hình kỹ thuật nâng cao bảo mậtkênh truyền sử dụng UAV khi xuất hiện các đối tượng nghe lén và học tăngcường từ đó xây dựng chương trình hiệu quả đáp ứng được bài toán nâng caohiệu quả bảo mật của mạng truyền tin UAV và ứng dụng được vào thực tiễn

Nội dung nghiên cứu

Trong đề tài này nội dung nghiên cứu được chia thành 2 phần:

Thứ nhất, nghiên cứu nguyên lý hoạt động của hệ thống truyền thôngtín hiệu sử dụng UAV Các thông số kênh truyền được truyền tải từ UAV đếnthiết bị người dùng như nào Tìm hiểu các yếu tố có thể ảnh hưởng đến hiệuquả bảo mật của kênh truyền như chiều cao của UAV, mật độ người nghe lén,

vị trí của người dùng và góc giữa UAV với người dùng

Thứ hai nghiên cứu các kỹ thuật, thư viện hỗ trợ trong học tăng cường

có thể giải quyết được bài toán nâng cao hiệu quả bảo mật của mạng truyềntin sử dụng UAV

Phương pháp nghiên cứu

a) Đề tài được tiếp cận theo các bước sau:

 Bước 1: Tìm hiểu và nghiên cứu mạng truyền tin sử dụng UAV vàhọc tăng cường

 Bước 2: Xác định mô hình truyền tin: Xây dựng các mô hình diđộng, mô hình truyền dẫn cho hệ thống mạng truyền tin UAV

 Bước 3: Thiết kế môi trường thực hiện Sau khi xác định được môhình truyền tin sẽ nghiên cứu lựa chọn môi trường thực hiện phùhợp với môi trường truyền tin Tại bước này cần nghiên cứu và xácđịnh được các yếu tố:

o Vị trí ban đầu, công suất phát, độ cao có thể hoạt động và các hoạt động có thể thực hiện của UAV

o Số lượng và khả năng chuyển động của người dùng trong môi trường Số lượng người nghe lén

o Các tham số môi trường, không gian hành động, cấu trúc liên kết

o Các tham số của phương pháp học tăng cường

 Bước 4: Huấn luyện và đánh giá mô hình Dựa trên các yếu tố nhưtham số, mô hình truyền tin đã được nghiên cứu và thiết lập Tiếnhành huấn luyện mô hình và đánh giá hiệu quả của mô hình bằngcách theo dõi chỉ số tỷ lệ tín hiệu trên tạp âm (SINR)

 Bước 5: Tối ưu hóa và điều chỉnh: Tối ưu hóa và điều chỉnh cáctham số và thuật toán để mô hình hiệu quả hơn

 Bước 6: Triển khai và kiểm thử: Triển khai mô hình đã huấn luyệnvào thực tế Kiểm định mô hình và theo dõi hiệu suất hoạt động của

mô hình

 Bước 7: Cải thiện và nâng cấp mô hình.

b) Phương pháp nghiên cứu và kỹ thuật sử dụng:

 Phương pháp phân loại và hệ thống hóa lý thuyết:

o Tóm lược các tài liệu, nghiên cứu trong và ngoài nước đểhình thành và tìm ra hướng xử lý cho bài toán

o Tổng hợp các lý thuyết, cách hoạt động của thuật toán cóthể áp dụng, lựa chọn các thuật toán phù hợp với vấn đềnghiên cứu Trên cơ sở đó hệ thống các thuật toán gắn với

CHƯƠNG 1 - TỔNG QUAN BÀI TOÁN

1.1.1 Giới thiệu về UAV

Thiết bị bay không người lái hay còn được gọi ngắn gọn là UAV hoặcdrones [21], là những phương tiện bay không người lái đang có vai trò ngàycàng quan trọng và đa dạng trong nhiều lĩnh vực Được thiết kế để hoạt động

mà không cần sự can thiệp trực tiếp của con người, UAV mang lại sự linhhoạt và khả năng thực hiện nhiệm vụ hiệu quả trong những môi trường khótiếp cận hoặc nguy hiểm

Hình 1.1 Hình ảnh UAV

Các UAV thường được trang bị các cảm biến đa dạng như cameraquang học, cảm biến nhiệt độ, cảm biến khí tượng, và GPS, mang lại khảnăng thu thập thông tin đa chiều về môi trường xung quanh Nhờ vào nhữngtiến bộ trong công nghệ pin và động cơ, UAV có thể bay được thời gian dài

và xa, mở ra nhiều ứng dụng hữu ích từ giám sát môi trường, quản lý tàinguyên, đến ứng dụng trong y tế, quân sự, và nhiều lĩnh vực khác

UAV được điều khiển trong buồng lái có cần điều khiển, các cần gạt vànhiều nút khác nhau tương tự như một chiếc máy bay thương mại Nhóm phi

công có thể ngồi ở căn cứ để lái máy bay Những chiếc UAV có cấu tạo ítphức tạp và dễ điều khiển hơn thì có thể điều khiển thông qua một bộ điềukhiển radio, hay thậm chí là cả smartphone và tablet.

Một trong những điểm mạnh lớn của UAV là khả năng thực hiện nhiệm

vụ ở những vùng đất khó tiếp cận hoặc nguy hiểm đối với con người Chúng

có thể được sử dụng trong việc kiểm tra môi trường tự nhiên, giám sát rừngcháy, đo lường biến đổi khí hậu, hay thậm chí làm nhiệm vụ tìm kiếm cứunạn Dưới đây là các ứng dụng của UAV trong các lĩnh vực điển hình trongcuộc sống:

 Quân sự: Trong lĩnh vực quân sự, UAV được sử dụng làmnhiệm vụ tính báo, do thám và theo dõi: tìm kiếm thông tin chiến thuật trênchiến trường, thực hiện nhiệm vụ tấn công trong các trường hợp rủi ro cao,truyền hình trực tiếp hình ảnh hoặc video về căn cứ hoặc đóng vai trò là biangắm bắn cho hệ thống vũ khí trên mặt đất hoặc trên không Ngoài ra, nó cònđảm nhiệm vai trò thí nghiệm cho các công nghệ UAV mới

 Dân dụng và thương mại: UAV có thể dùng trong việc vận

chuyển hàng hóa giao – nhận (như Amazon hay Pizza Inn đã ứng dụng)

 Cứu nạn cứu hộ: Trong công tác cứu nạn cứu hộ, UAV được sửdụng để tìm kiếm, phát hiện con người trong những trường hợp nguy hiểmnhư sạt lở, lũ lụt, hỏa hoạn hay động đất để truyền trực tiếp tư liệu cần thiếtphục vụ việc cứu hộ cứu nạn

 Nông nghiệp: UAV được trang bị các thiết bị chụp ảnh độ phângiải cao, giảm thời gian và công sức trong các nội dung trắc địa, bản đồ, tăng

độ chính xác

 Điện ảnh, Truyền hình: Trong lĩnh vực điện ảnh – truyền hình,

UAV được sử dụng để hỗ trợ truyền tải những hình ảnh trực tiếp và giúp ghihình những cảnh quay khó từ trên không trung

 Mạng viễn thông: Trong lĩnh vực truyền dẫn tín hiệu cho các

mạng viễn thông, UAV được coi như một trạm phát tín hiệu trên cao giúptruyền tải tín hiệu đến những nơi con người khó tiếp cận hoặc cần tính linhđộng mà trạm dưới mặt đất không thực hiện được

 Các lĩnh vực khác: UAV còn được sử dụng để dự báo thời tiết,

thu thập thông tin khí tượng, kiểm tra khảo sát ở những nơi nguy hiểm màcon người không thể tiếp cận Ngoài ra, UAV còn được sử dụng để phục vụmục đích giải trí đối với những người đam mê chinh phục bầu trời bằng cácloại máy bay điều khiển từ xa để thỏa mãn thú vui và đưa đến cảm giác trảinghiệm thực trên không

Với khả năng tự động hóa và tính linh hoạt, UAV không chỉ giúp tiếtkiệm chi phí và thời gian mà còn mang lại những giải pháp đổi mới cho nhiềuthách thức hiện đại Từ việc cải thiện năng suất đến giảm thiểu rủi ro cho conngười, UAV đang mở ra một tương lai hứa hẹn với sự kết hợp sáng tạo củacông nghệ bay không người lái và các lĩnh vực ứng dụng rộng lớn

Đề án này tập trung nghiên cứu về ứng dụng của UAV trong truyền dẫntín hiệu cho các mạng viễn thông, UAV đóng vai trò như một trạm gốc trênkhông giúp chuyển tiếp tín hiệu từ trạm mặt đất tới người dùng cuối

1.1.2 Giới thiệu về mạng truyền thông di động

Mạng truyền tin di động [22] là một hệ thống phức tạp của các cơ sở hạtầng và công nghệ được thiết kế để cung cấp dịch vụ truyền thông không dâycho các thiết bị di động như điện thoại di động, máy tính bảng, và các thiết bịthông minh khác Điều này cho phép người dùng di chuyển và vẫn duy trì kết

nối liên tục với mạng, giúp họ truy cập Internet, gọi điện thoại, gửi tin nhắn văn bản, và sử dụng các ứng dụng khác mọi nơi và mọi lúc.

Cấu trúc của mạng truyền tin di động bao gồm:

 Trạm cơ sở (Base Station) phát sóng và thu sóng

 Hệ thống truyền tải dữ liệu

 Các thiết bị di động

Trạm cơ sở có trách nhiệm quản lý kết nối và truyền tải dữ liệu giữathiết bị di động và mạng truyền tin di động Mạng truyền tin di động cho phépngười dùng di chuyển và vẫn duy trì kết nối liên tục, cung cấp dịch vụ nhưcuộc gọi điện thoại, truyền dữ liệu, và truy cập internet ngay cả khi họ đang dichuyển qua nhiều vùng phủ sóng khác nhau Điều này tạo ra sự linh hoạt vàtiện lợi cho người sử dụng trong cuộc sống hàng ngày

Mạng truyền tin di động sử dụng sóng radio để truyền tải dữ liệu giữathiết bị di động và trạm cơ sở Các chuẩn giao thức như 3G, 4G, và 5G đã vàđang được phát triển để cung cấp tốc độ truyền tải dữ liệu nhanh, độ ổn địnhcao, và khả năng kết nối hàng tỷ thiết bị đồng thời [5]

 2G (2nd Generation): Thế hệ đầu tiên của mạng di động,

thường được biết đến là GSM (Global System for MobileCommunications) và CDMA (Code Division Multiple Access).2G chủ yếu cung cấp dịch vụ thoại di động và tin nhắn văn bản

 3G (3nd Generation): Cung cấp tốc độ truyền dữ liệu nhanh

hơn, cho phép người dùng trải nghiệm Internet di động, videocall, và các dịch vụ multimedia khác

 4G (4nd Generation): Đem lại tốc độ truyền dữ liệu rất cao,

cung cấp trải nghiệm Internet nhanh chóng, streaming video chất

lượng cao, và hỗ trợ các ứng dụng phức tạp như trò chơi trựctuyến và thực tế ảo.

 5G (5nd Generation): Được thiết kế để cung cấp tốc độ truyền

dữ liệu siêu nhanh, độ trễ thấp, và khả năng kết nối hàng tỷ thiết

bị đồng thời 5G mở ra cánh cửa cho nhiều ứng dụng mới nhưInternet of Things (IoT), xe tự lái, và công nghiệp 4.0

Mạng truyền tin di động hiện đại sử dụng các công nghệ và tiêu chuẩntiên tiến để mạng truyền tin có thể hoạt động một cách tối ưu nhất nhằm đápứng nhu cầu ngày càng cao của người dùng Các công nghệ và tiêu chuẩnđược sử dụng phổ biến hiện nay bao gồm:

 CDMA (Code Division Multiple Access): Sử dụng phương pháp

mã hóa để cho phép nhiều người dùng truy cập mạng cùng mộtlúc

 GSM (Global System for Mobile Communications): Là một tiêuchuẩn mạng di động phổ biến trên toàn cầu, được sử dụng rộngrãi trong hệ thống 2G và 3G

 LTE (Long-Term Evolution) Là công nghệ tiên tiến được sửdụng trong mạng 4G, cung cấp tốc độ dữ liệu truyền cao và hiệusuất ổn định hơn

Mạng truyền tin di động hiện nay đã phát triển và mang đến cho ngườidùng nhiều tính năng độc đáo và tiện ích Một trong những tính năng quantrọng nhất của mạng này là khả năng truy cập Internet, cho phép người dùnglướt web, xem video, đọc báo, tìm kiếm thông tin và thực hiện các tác vụ trựctuyến từ bất kỳ đâu và bất kỳ lúc nào Đồng thời, mạng truyền tin di độngcung cấp dịch vụ tin nhắn văn bản (SMS) và tin nhắn đa phương tiện (MMS),

giúp người dùng gửi và nhận thông điệp, hình ảnh, video và âm thanh mộtcách nhanh chóng và tiện lợi.

Ngoài ra, cuộc gọi và video call cũng là tính năng không thể thiếu củamạng truyền tin di động, cho phép người dùng giao tiếp trực tiếp và trực quanvới người thân, bạn bè và đối tác kinh doanh từ xa Mạng di động cũng hỗ trợcác dịch vụ giải trí như nghe nhạc trực tuyến, xem phim, chơi game và truyềnhình số di động, mang lại trải nghiệm giải trí đa dạng và phong phú cho ngườidùng Không chỉ vậy, tính năng định vị GPS trên điện thoại di động cũng giúpngười dùng xác định vị trí, tìm đường đi và khám phá địa điểm mới một cách

dễ dàng và chính xác

1.1.2 Giới thiệu về mạng truyền tin sử dụng UAV

Hệ thống mạng truyền tin sử dụng UAV là một cải tiến kỹ thuật được

áp dụng vào cuộc sống bằng cách sử dụng UAV như một trạm thu phát sóngtrên không [23] Với ưu điểm về di chuyển linh hoạt, khả năng quan sát từ xa,hoạt động ổn định ở trên cao, UAV được xem là một giải pháp tiềm năng đểtăng dung lượng mạng, tối ưu hóa phân bổ tài nguyên truyền thông không dâyđặc biệt ở những khu vực mà cơ sở hạ tầng truyền thống bị hạn chế hoặckhông thể triển khai [3-4] UAV có thể được sử dụng để đảm nhiệm cácnhiệm vụ tương ứng trong các mô hình truyền thông như:

 UAV-BS (Unmanned Aerial Vehicle Base Station): là một loại trạm

gốc không người lái có các chức năng tương tự như một trạm gốc thôngthường, nhưng với khả năng hoạt động ở độ cao lớn hơn và linh hoạt hơn Môhình trạm gốc cho phép UAV-BS được ứng dụng trong trường hợp:

o Hỗ trợ phủ sóng không dây ở vùng sâu và vùng xa: UAV-BS cóthể được triển khai trong các khu vực khó tiếp cận hoặc không có cơ sở hạtầng mạng cố định Bằng cách cung cấp kết nối vô tuyến từ trên cao, UAV-

BS có thể mở rộng phạm vi phủ sóng mạng di động và cung cấp dịch vụtruyền thông cho các khu vực xa, nơi truy cập truyền thông truyền thống khókhăn.

o Giảm tải lưu lượng tạm thời ở các địa điểm phát sóng di động:Trong các sự kiện lớn, các hoạt động tập trung đông người, lưu lượng truyềnthông tạm thời tăng cao UAV-BS có thể được triển khai như một trạm gốc diđộng tạm thời để giảm tải lưu lượng truyền thông tại các địa điểm đôngngười, đảm bảo rằng người dùng vẫn có kết nối ổn định và chất lượng dịch vụcao

o Khôi phục dịch vụ sau thảm họa, thiên tai: Trong các tình huốngthiên tai, thiên tai, hoặc các tình huống khẩn cấp, hạ tầng viễn thông có thể bịhỏng hoặc bị tạm đình chỉ UAV-BS có thể được triển khai nhanh chóng đểkhôi phục kết nối truyền thông và cung cấp dịch vụ liên lạc trong thời gianngắn, hỗ trợ các hoạt động cứu trợ và quản lý tình hình khẩn cấp

Hình 1.2 Mô hình truyền thông hỗ trợ bởi UAV - BS

 UAV thu thập dữ liệu và phổ biến thông tin: UAV thể được sử dụng

để thu thập dữ liệu và phổ biến thông tin trong mạng truyền thông Chúng cóthể hoạt động như các điểm truy cập trên không (AP) để phổ biến hoặc thu

thập thông tin từ các nút trên mặt đất Ứng dụng của UAV trong mạng lướitruyền thông Internet của Vạn vật (IoT) và mạng lưới cảm biến không dây chophép việc thu thập dữ liệu từ các cảm biến và truyền thông tin đến các núttrung tâm một cách hiệu quả UAV có khả năng di chuyển linh hoạt trongkhông gian, cho phép tiếp cận các vị trí khó tiếp cận trên mặt đất và thu thậpthông tin từ đó [15, tr 7-9].

Hình 1.3 Mô hình truyền thông hỗ trợ bởi thiết bị IoT

TRUYỀN TIN UAV

1.2.1 Tình hình nghiên cứu trong nước

Trong nước bài toán nâng cao hiệu quả hệ thống mạng truyền tin UAV

là một đề tài mới cần nhiều công nghệ cao cho nên chỉ có khá ít các nghiêncứu được công bố về nội dung này Dưới đây là các bài nghiên cứu đã đượccông bố nổi bật nhất

1.2.1.1 Phân tích xác suất dừng của việc lựa chọn UAV thu thập

năng lượng

Nghiên cứu “phân tích xác suất dừng của việc lựa chọn UAV thu thậpnăng lượng” của tác giả Hồ Văn Khương đăng trên tạp chí khoa học Côngnghệ và Thực phẩm 20(4)(2020)33-42 [2] Trong nghiên cứu của mình tác giảthực hiện xây dựng hệ thống với mục đích thực hiện được các nội dung:

 Đề xuất một phương pháp lựa chọn UAV mà chỉ chọn một UAV làmthiết bị chuyển tiếp từ một nhóm UAV, tất cả đều có khả năng thu thậpnăng lượng từ tín hiệu tần số vô tuyến cho truyền tin tin cậy mà khôngchịu các áp lực lớn về băng thông phát, tiêu thụ năng lượng, và đồng bộtín hiệu

 Đề xuất một công thức ở dạng tường minh chính xác về xác suất dừng(Outage Probability - OP) cho việc lựa chọn UAV thu thập năng lượng

có xét đến suy hao đường truyền và fading Rayleigh

 Cung cấp nhiều kết quả để có cái nhìn sâu sắc về tác động của cácthông số vận hành chính như công suất phát, hệ số chia thời gian vàhiệu suất chuyển đổi năng lượng của UAV đến độ tin cậy truyền tin của

hệ thống truyền thông chuyển tiếp được hỗ trợ bởi các UAV

Nghiên cứu này đã mô tả một hệ thống truyền thông chuyển tiếp được

hỗ trợ bởi các UAV trong đó chỉ có một UAV trong số nhiều UAV được chọnlàm thiết bị chuyển tiếp Tất cả các UAV đều có khả năng thu thập nănglượng từ tín hiệu tần số vô tuyến Hiệu năng của hệ thống đã được phân tíchtheo xác suất dừng của thiết bị đích thông qua biểu thức dạng tường minhchính xác được đề xuất Phân tích được xác minh bằng mô phỏng Monte-Carlo Nhiều kết quả cho thấy hiệu quả của việc lựa chọn UAV trong việc giữkết nối tin cậy qua khoảng cách lớn Ngoài ra, các kết quả đã chứng minh

rằng hệ số phân chia thời gian cho quá trình thu thập năng lượng có thể được tối ưu hóa để đạt được hiệu năng hệ thống tốt nhất.

1.2.1.2 Ước lượng hiệu năng bằng kỹ thuật học sâu cho hệ thống mặt

phản xạ thông minh RIS kết hợp thiết bị bay không người lái UAV trong truyền thông gói tin ngắn hạn

Nghiên cứu “Ước lượng hiệu năng bằng kỹ thuật học sâu cho hệ thốngmặt phản xạ thông minh RIS kết hợp thiết bị bay không người lái UAV trongtruyền thông gói tin ngắn hạn” của tác giả Huỳnh Văn Hóa, Võ Nguyễn QuốcBảo đăng trên tạp chí khoa học công nghệ thông tin và truyền thông số 04(CS.01) 2022 [1] Trong nghiên cứu nhóm tác giả tiến hành sử dụng kỹ thuậthọc sâu ứng dụng vào mô hình mạng chuyển tiếp đa chặng trong truyền thônggói tin ngắn Nhóm tác giả tiến hành khảo sát với số lượng các lớp ẩn khácnhau để đánh giá chất lượng của mô hình Những đóng góp chính của nghiêncứu này bao gồm:

 Xây dựng mô hình mạng truyền thông gói tin ngắn với sự hỗ trợ củaRIS theo số lượng các phần tử khác nhau

 Tính toán tỉ lệ lỗi khối theo mô hình đã đề xuất và xây dựng mô hìnhmạng DL nhằm tăng cường công cụ để đánh giá hiệu năng của hệthống

 Khảo sát các vị trí khác nhau của UAV và ảnh hưởng của hệ số kênhtruyền trong hệ thống

 Mô phỏng với các giá trị hệ số suy hao khác nhau theo mô hình đề xuất

Kết quả đạt được của nghiên cứu, nhóm tác giả đã đề xuất mạng truyềnthông gói tin ngắn sử dụng kỹ thuật giải mã và chuyển tiếp với sự hỗ trợ củaRIS và UAV Theo kênh truyền fading Rayleigh, tác giả đã đưa ra biểu thứcdạng đóng cho tỉ lệ lỗi khối của mô hình đề xuất Bên cạnh đó, tác giả cũngđã

đưa ra được biểu thức tính tiệm cận của hệ thống ở dải công suất phát cao.Các kết quả phân tích số trong mô hình đề xuất đều trùng khớp với kết quả

mô phỏng Monte-Carlo

Tác giả đã sử dụng kỹ thuật học sâu để kiểm chứng kết quả phân tích lýthuyết Thông qua mô hình đề xuất và mạng huấn luyện nơ-ron sâu, nhận thấyrằng các kết quả phân tích lý thuyết, mô phỏng Monte Carlo và mạng nơ-ronsâu là tương đối trùng khớp Ngoài ra mạng nơ-ron sâu còn được sử dụng đểkiểm chứng thông số hệ số kênh truyền ở những giá trị khác nhau cũng làmthay đổi giá trị của BLER Khi SNR ở mức cao thì hiệu năng hệ thống đượccải thiện Tuy nhiên khi tỉ số SNR càng cao và kết hợp với số lượng RIS cũngtăng nên kết quả huấn luyện chưa thật sự tốt Cuối cùng, khi xét tổng quan về

hệ thống, rõ ràng, nếu xét yếu tố các phần tử của mặt phản xạ thông minh,thấy rằng với các thông số đã thiết lập thì với giá trị số phần tử ở mức bằng.1.2.2 Tình hình nghiên cứu nước ngoài

1.2.2.1 Prioritized User Association for Sum-Rate Maximization in Assisted Emergency Communication: A Reinforcement Learning Approach

UAV-Nghiên cứu “Prioritized User Association for Sum-Rate Maximization

in UAV-Assisted Emergency Communication: A Reinforcement LearningApproach” của nhóm tác giả Abdul Basit Siddiqui, Iraj Aqeel, AhmedAlkhayyat, Umer Javed and Zeeshan Kaleem được đăng trên tạp chí MDPIDrones 2022, 6, 45 [3] Vị trí của máy bay không người lái và hiệp hội ngườidùng là một thách thức quan trọng để kích hoạt liên lạc khẩn cấp Trong bàibáo này, tác giả đã xử lý vấn đề tối ưu hóa tỷ lệ tổng người dùng bằng cáchliên kết những người dùng được ưu tiên với các trạm cơ sở khẩn cấp trênkhông đã triển khai

Để giải quyết thách thức đưa ra nhóm tác giả đã sử dụng một khunghọc tập tăng cường được đề xuất để tối đa hóa số lượng người dùng đượcphục vụ bằng cách tối ưu hóa vị trí và sức mạnh của ABS 3D Tác giả cũngthiết kế chức năng khen thưởng ưu tiên người dùng khẩn cấp thiết lập kết nốivới ABS bằng Q-learning.

Kết quả mô phỏng đã xác minh rằng hiệu suất theo sơ đồ đề xuất tăngđáng kể về mặt tốc độ tổng và giảm số lượng người dùng gặp sự cố ngừnghoạt động so với sơ đồ liên kết người dùng dựa trên SNR thông thường Bêncạnh đó nghiên cứu cho thấy rằng tổng tỷ lệ tăng khi số lượng ABS tăng lên,nhưng sau khi triển khai hơn 4 ABS, tổng tỷ lệ bắt đầu giảm Lý do là khi sốlượng ABS tăng lên thì độ nhiễu giữa chúng cũng tăng lên khiến tỷ lệ tổnggiảm xuống Bằng cách so sánh hai sơ đồ này, tác đã đạt được tốc độ tổngtrung bình khoảng 23 bps/Hz so với sơ đồ liên kết người dùng dựa trên SINRthông thường

1.2.2.2 Outage Probability of UAV Communications in the Presence

of Interference

Nghiên cứu “Outage Probability of UAV Communications in thePresence of Interference” của nhóm tác giả Minsu Kim và Jemin Lee đăngtrên tạp chí IEEE Global Communications Conference (GLOBECOM), AbuDhabi, United Arab Emirates, 9–13 December 2018 [20] Trong nghiên cứunày tác giả phân tích tác động của nhiễu lên thông tin liên lạc của UAV bằngcách xem xét xác suất LoS và các kênh mờ dần khác nhau đối với các liên kếtLoS và các liên kết không theo đường truyền (NLoS), bị ảnh hưởng bởi gócnâng của liên kết liên lạc Sau đó, tác giả rút ra xác suất ngừng hoạt động ởdạng đóng khi có nút gây nhiễu cho tất cả các tình huống và môi trường cóthể xảy ra của các liên kết chính và liên kết nhiễu

Sau khi thảo luận về tác động của việc truyền và can thiệp các thông sốnút đến xác suất ngừng hoạt động, nghiên cứu cho thấy sự tồn tại của độ caotối ưu của UAV giúp giảm thiểu xác suất ngừng hoạt động Nghiên cứu cũngcho thấy môi trường NLoS có thể tốt hơn môi trường LoS nếu công suất trungbình thu được của nhiễu chiếm ưu thế hơn công suất phát tín hiệu trong liênlạc UAV.

và thấy rằng hệ thống mạng truyền tin sử dụng UAV xuất phát từ ý tưởng xâydựng một mạng truyền tin có thể phủ sóng tạm thời hoặc tăng cường kết nốitrong các khu vực khó tiếp cận hoặc trong các tình huống khẩn cấp Vớinhững ưu điểm của hệ thống mạng truyền tin UAV là tính linh hoạt, khả năngphục hồi và khả năng truyền thông trong phạm vi rộng có nhiều người

Các nghiên cứu trong nước và ngoài nước được đăng trên các tạp chí

uy tín để giải quyết bài toán xây dựng hệ thống nâng cao hiệu quả mạngtruyền tin UAV cũng đã được trình bày Các nghiên cứu đã đưa ra các thuậttoán, mô hình ứng dụng vào bài toán một cách hiệu quả

Xong vấn đề đặt ra sau khi tìm hiểu về hệ thống mạng truyền tin sửdụng UAV là làm sao tối ưu được hiệu quả bảo mật của hệ thống? Có thể ápdụng các kỹ thuật công nghệ thông tin vào bài toán nâng cao hiệu quả bảo mậtcủa hệ thống mạng truyền thông sử dụng UAV không? Những câu hỏi này sẽđược tìm hiểu và giải đáp trong chương tiếp theo

CHƯƠNG 2 – GIẢI PHÁP NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA

MẠNG TRUYỀN TIN UAV

2.2.1 Mô hình hệ thống

Trong đề án này, học viên thiết kế giả lập một mô hình truyền tin với

sự hỗ trợ của UAV, mô tả chi tiết trong Hình 2.1 Trong mô hình này có mộttrạm GBS phát tín hiệu với UAV ở độ cao trên 100m so với mặt đất UAV sẽchuyển tiếp tín hiệu đến các người dùng Mỗi người dùng giao tiếp bằng cách

sử dụng thiết bị người dùng (UE) của họ với UAV và được UAV gần nhấtphục vụ một cách linh hoạt Ngoài ra trong mạng có các người nghe lén (E)cũng có thể nghe lén được tín hiệu[19]

Hình 2.1 Mô hình hệ thống mạng truyền tin UAV

Trong đó:

- GBS: Trạm cơ sở phát sóng

- UAV1, UAV2, UAVn: Thiết bị bay không người lái UAV

- (x1, y1, h1), (x1, y1, h1), (xn, yn, hn): Tọa độ của UAV

- xu, yu: Tọa độ của người dùng.

- Xe, ye: Tọa độ người nghe lén

Với mục đích giữ cho môi trường thực tế hơn, người dùng có thể dichuyển trong thời gian bay của UAV Bởi vì các UAV nhanh hơn người dùng

và để đảm bảo tính liên tục của mô phỏng được xác định theo cách rời rạc,khoảng thời gian di chuyển của người dùng được cố định theo tỷ lệ vận tốccủa người dùng-UAV Tất cả người dùng đều có vectơ hành động bao gồm dichuyển sang phải, trái, tiến, lùi và giữ nguyên trạng thái tĩnh với cùng độ dàinhưng có trình tự khác nhau Đường dẫn mà người dùng đi theo được xácđịnh trước trước khi mô phỏng một cách ngẫu nhiên bằng cách sử dụng phânphối ngẫu nhiên trên vectơ hành động của riêng mỗi người dùng để mô hình

di động của người dùng trong môi trường ổn định và chính xác

2.2.1 Mô hình truyền dẫn tín hiệu

Trong hệ thống mạng truyền tin di động sử dụng UAV, mô hình kênhtruyền từ UAV đến thiết bị người dùng đóng vai trò quan trọng trong việcđảm bảo hiệu suất và độ tin cậy của kết nối không dây Mô hình này có thểchia thành hai trạng thái chính: đường thẳng (LoS - Line of Sight) và bị chekhuất bởi chướng ngại vật (NLoS - Non-Line of Sight)[18]

Trong trường hợp đường thẳng (LoS), khi có tầm nhìn trực tiếp giữaUAV và thiết bị người dùng, tín hiệu có thể truyền qua không gian một cáchtrực tiếp không bị cản trở, hiệu quả truyền thông cũng như tốc độ truyền tảinhanh và độ tin cậy cao Ngược lại, môi trường bị che khuất (NLoS) nhưtrong các khu vực đô thị có nhiều chướng ngại vật như tòa nhà và cây cỏ, tínhiệu phải đi qua hoặc chảy xung quanh những chướng ngại vật này, có thểdẫn đến giảm chất lượng tín hiệu và tăng độ trễ

Trong đề án này học viên thực hiện mô hình hóa hai kênh truyền theo 2loại khác nhau trong đó: kênh truyền LoS được mô hình hóa theo kiểu RicianFading, còn NLoS được mô hình hóa theo phân phối xác suất Rayleigh [20].

Trong đó

f (l) 

f LoS (l)

- l: Khoảng cách từ ABS đến người dùng

- fNLoS(l) là hàm mật độ xác suất của mất mát kênh truyền NLoS

- fLoS(l) là hàm mật độ xác suất của mất mát kênh truyền LoS

Hàm mật độ xác suất của mất mát kênh truyền NLoS tuân theo phânphối Chi-squared phi tâm Với Chi-squared phi tâm (Phi coefficient) là một hệ

số tương quan được sử dụng để đo lường mức độ tương quan giữa hai biếnphân loại Nó thường được sử dụng trong phân tích dữ liệu đo đạc theo thang

đo cấp bậc (ordinal data) hoặc dữ liệu phân loại (categorical data) [20] Từ đó

có thể tính hàm mật độ xác suất của mất mát kênh truyền NLoS như sau:

- Ω: Tham số phi tâm của phân phối Chi-Squared

- exp: Hàm mũ cơ số e (Cơ số Euler)

Hàm mật độ xác suất của mất mát kênh truyền LoS tuân theo phân phối

mũ Phân phối mũ thường được sử dụng để mô hình hóa thời gian giữa các sựkiện độc lập và đồng nhất, và trong trường hợp mất mát kênh, nó có thể được

sử dụng để mô tả sự giảm mạnh của tín hiệu khi truyền qua không gian trong

{

điều kiện Line of Sight Hàm mật độ xác suất của mất mát kênh truyền LoS

- l: Khoảng cách từ ABS đến người dùng

- α: tham số tỷ lệ của phân phối mũ

- exp: Hàm mũ cơ số e (Cơ số Euler)

Trong môi trường thực nghiệm là một môi trường có xét đến các yếu tốngoại cảnh như mật độ của tòa nhà và chiều cao của ngôi nhà Đây là các yếu

tố ngoại cảnh ảnh hưởng trực tiếp đến xác suất xuất hiện của tia truyền thẳng.Khi mật độ của tòa nhà càng lớn tỷ lệ xuất hiện của LoS càng thấp và ngượclại điều này cũng tương tự với chiều cao của ngôi nhà Xác suất xuất hiện củaLoS sẽ được tính:

P LoS

 1



1exp(  ) (2.4)

Trong đó

- exp: Hàm mũ cơ số e (Cơ số Euler)

- α1, β1: Tham số môi trường

- : Góc nâng phụ thuộc vào chiều cao của ABS cũng như khoảngcách từ ABS đến UE

Từ phương trình xác suất xuất hiện của LoS có thể thấy khi tăng gócnâng xác suất xuất hiện của LoS sẽ tăng Góc nâng được xác định bởi công thức:

i180 tan1  hm  (2.5)

Trong đó

- hm: Chiều cao của trạm ABS

- : Khoảng cách giữa ABS đến UE trong không gian 3 chiều

Khoảng cách giữa ABS đến UE trong không gian 2 chiều được tính theo công thức:

dij 

Trong đó

-

-i1,2, ,n

j 1,2, ,m

x i , yi : Tọa độ vị trí của UAV

x j , y j : Tọa độ vị trí của UAV

 x  xj2 y  y

i

 Khoảng cách: Mất mát đường truyền thường tăng theo khoảng cáchgiữa bộ truyền và bộ thu Theo định luật nghịch bình phương, nếukhoảng cách tăng gấp đôi, công suất của tín hiệu sẽ giảm gấp bốn.

 Góc tín hiệu: Góc mà tín hiệu đi vào anten cũng có thể ảnh hưởng đếnmất mát đường truyền, đặc biệt là trong mô hình không có đường trựctiếp (NLoS)

 Độ cao của ABS: Độ cao của anten ở cả hai đầu (trạm gửi và trạm thu)cũng có thể ảnh hưởng đến mất mát đường truyền

 Môi trường: Sự có hay không có chướng ngại vật như tòa nhà, cây cỏ,hoặc các vật thể khác trong không gian truyền thông cũng ảnh hưởngđến mất mát đường truyền

 Tần số của tín hiệu: Tần số của tín hiệu cũng có thể ảnh hưởng đến mấtmát đường truyền Tín hiệu ở tần số cao hơn thường trải qua mất mátđường truyền lớn hơn so với tín hiệu ở tần số thấp

Tỷ lệ mất mát đường truyền từ ABS đến người dùng kết nối được xácđịnh:

- Tần số của tín hiệu (trong hertz).

- : Khoảng cách giữa ABS và UE

- : Là tốc độ ánh sáng, khoảng 3*10^8 mét/giây, và xuất hiện để chuyển đổi thời gian và khoảng cách

- Là thêm vào biểu thức để mô tả mất mát nhiễu(noise loss) hoặc các yếu tố khác không được tính toán trong cácyếu tố khác của biểu thức

Tổn hao đường truyền trung bình theo xác suất là một đại lượng được

sử dụng trong truyền thông không dây để mô tả mức độ mất mát tín hiệu quakhông gian dựa trên xác suất Cụ thể, nó biểu thị mức độ mất mát tín hiệu kỳvọng hoặc trung bình dựa trên xác suất:

m  m LoS * P LoS  m NLoS 

P NLoS

(2.10)

SINR là viết tắt của "Signal-to-Interference-plus-Noise Ratio" Đây làmột thước đo được sử dụng trong truyền thông không dây để đánh giá chấtlượng của một kết nối truyền thông, đặc biệt trong môi trường có nhiều tínhiệu và nhiễu SINR cung cấp thông tin về mức độ tín hiệu so với các nhiễu

và tín hiệu ngoại vi trong môi trường truyền thông Giá trị SINR cao thườngbáo hiệu rằng tín hiệu chính là mạnh và không bị ảnh hưởng quá mức bởinhiễu và tín hiệu ngoại vi, điều này làm tăng khả năng truyền thông ổn định

và hiệu quả của kết nối không dây

SINR từ UAV tới người dùng với mô hình đề xuất (Hình 2.1) được xácđịnh bởi công thức (2.11)

- P u : Công suất của tín hiệu truyền đi (transmitted signal power).

- g ij : Hiệu suất của anten tại bộ thu từ UAV thứ i tại người dùng j

- m ij : Tổn hao đường truyền trung bình theo xác suất tại UAV thứ i và người dùng j

- I: Công suất nhiễu (interference power)

- P naI : Phương sai nhiễu và nhiễu đồng kênhSINR từ UAV tới nghe lén được xác định bởi công thức:

- P u : Công suất của tín hiệu truyền đi (transmitted signal power)

- g ie : Hiệu suất của anten tại bộ thu từ UAV thứ i tại nghe lén e

- m ie : Tổn hao đường truyền trung bình theo xác suất tại UAV thứ

i và nghe lén e

- I: Công suất nhiễu (interference power)

- P naI : Phương sai nhiễu và nhiễu đồng kênh

- P AN : Công suất nhiễu

Trong mô hình hệ thống truyền tin sử dụng UAV chúng học viên sửdụng một công suất phát nhiễu nhiễu nhân tạo cho UAV Với người dùng hợppháp sẽ nhận được toàn bộ thông tin đã được mã hóa do vậy công suất phátnhiễu sẽ bằng 0 còn với kẻ nghe lén do truy cập trái phép nên thông tin nghe

lén được sẽ phải chịu công suất nhiễu và khó khăn trong việc nhận tín hiệuhơn Khi đó SINR tại kẻ nghe lén sẽ được xác định bởi:

Data rate, hay tỷ lệ dữ liệu, là một đo lường cho khả năng truyền tải dữliệu qua một mạng truyền thông trong một khoảng thời gian cụ thể Được đolường bằng bits per second (bps), data rate chỉ ra số lượng dữ liệu mà một hệthống hoặc kết nối có thể truyền qua mỗi giây

Data rate là một khía cạnh quan trọng của hiệu suất mạng và truyềnthông Càng cao data rate, hệ thống càng có khả năng truyền tải lượng lớn dữliệu một cách nhanh chóng Data rate được ứng dụng rộng rãi trong nhiều lĩnhvực, bao gồm mạng di động, Internet, truyền hình kỹ thuật số, và các loạitruyền thông khác

Data rate thường được định rõ bởi các yếu tố như tần số của tín hiệu,rộng băng thông, và các kỹ thuật truyền thông cụ thể được sử dụng Ví dụ,trong mạng di động, data rate thường được mô tả dưới dạng bps hoặc Mbps(megabits per second), trong khi trong mạng cáp, nó có thể được đo bằngMbps hoặc Gbps (gigabits per second)

R u  log(1

Trong mô hình truyền dẫn có xuất hiện nghe lén thì khi các trạm ABSphát tín hiệu thì người dùng nhận được tín hiệu và nghe lén cũng nhận đượctín hiệu Data rate nghe lén với ABS cũng được tính là được tính là:

Vậy từ phương trình (2.16) có thể nhận thấy muốn nâng cao được bảomật của hệ thống cần phải

giảm R E Muốn giảm R Ecó thể có nhiều cáchkhác nhau như tăng khoảng cách giữa ABS và nghe lén hoặc tăng nhiễu

2.2.1 Học tăng cường

Học tăng cường (reinforcement learning) là một loại kỹ thuật máyhọc mà một hệ thống tự động tìm hiểu và cải thiện hành vi của mình thôngqua tương tác với môi trường [24] Quy trình này dựa trên nguyên tắc học từphản hồi (feedback) và thưởng (reward) để tối đa hóa một hàm phần thưởngđược xác định trước

Học tăng cường (reinforcement learning) hoạt động như một tín hiệucho các hành vi tích cực và tiêu cực Mục tiêu duy nhất của nó là tìm ra một

mô hình hành động phù hợp để tăng tổng phần thưởng tích lũy của đại lý.Phương pháp học tập này cho phép tác nhân đưa ra một loạt quyết định nhằmtối đa hóa chỉ số phần thưởng cho nhiệm vụ mà không cần sự can thiệp củacon người hay lập trình rõ ràng để đạt được nhiệm vụ

Hình 2.2 Mối quan hệ trong học tăng cường

i

Các thành phần chính của học tăng cường bao gồm:

 Tác nhân (Agent): Đây là thực thể thực hiện hành động và tìm kiếm đểtối ưu hóa mục tiêu

 Môi trường (Environment): Là nơi mà tác nhân thực hiện các hànhđộng và nhận phản hồi Môi trường có thể bao gồm bất cứ điều gì màtác nhân có thể ảnh hưởng đến và nhận phản hồi từ

 Trạng thái (State): Là biểu diễn của tất cả thông tin cần thiết để tácnhân đưa ra quyết định

 Hành động (Action): Là các hành động mà tác nhân có thể thực hiệntrong mỗi trạng thái

 Phần thưởng (Reward): Là số liệu số đo giá trị của một hành động hoặctình trạng Mục tiêu của tác nhân là tối đa hóa tổng phần thưởng nhậnđược qua thời gian

 Chiến lược (Policy): Là một quy tắc hoặc chiến lược quyết định cáchtác nhân sẽ chọn hành động trong từng trạng thái

Trong học tăng cường, các nhà phát triển nghĩ ra một phương phápkhen thưởng các hành vi mong muốn và trừng phạt các hành vi tiêu cực.Phương pháp này gán các giá trị dương cho các hành động mong muốn đểkhuyến khích tác nhân và các giá trị âm cho các hành vi không mong muốn.Chương trình này giúp tác nhân tìm kiếm phần thưởng tổng thể dài hạn và tối

đa để đạt được một giải pháp tối ưu

Theo thời gian, tác nhân học cách tránh điều tiêu cực và tìm kiếm điềutích cực Phương pháp học này đã được áp dụng trong trí tuệ nhân tạo (AI)như một cách chỉ đạo việc học máy không giám sát thông qua phần thưởng vàhình phạt

2.2.2 Markov Decision Process

2.2.2.1 Tổng quan

Quy trình quyết định Markov (MDP) đề cập đến quy trình ra quyết địnhngẫu nhiên sử dụng khung toán học để mô hình hóa việc ra quyết định củamột hệ thống động[24] Nó được sử dụng trong các tình huống trong đó kếtquả là ngẫu nhiên hoặc được kiểm soát bởi người ra quyết định, đưa ra cácquyết định tuần tự theo thời gian MDP đánh giá những hành động mà người

ra quyết định nên thực hiện khi xem xét trạng thái và môi trường hiện tại của

hệ thống

MDP dựa vào các biến số như môi trường, hành động của tác nhân vàphần thưởng để quyết định hành động tối ưu tiếp theo của hệ thống Chúngđược phân thành bốn loại - hữu hạn, vô hạn, liên tục hoặc rời rạc - tùy thuộcvào nhiều yếu tố khác nhau như tập hợp hành động, trạng thái sẵn có và tầnsuất ra quyết định

MDP đã xuất hiện từ đầu những năm 1950 Cái tên Markov đề cập đếnnhà toán học người Nga Andrey Markov, người đóng vai trò then chốt trongviệc hình thành các quá trình ngẫu nhiên Trong những ngày đầu thành lập,MDP được biết đến với khả năng giải quyết các vấn đề liên quan đến quản lý

và kiểm soát hàng tồn kho, tối ưu hóa hàng đợi và các vấn đề định tuyến.Ngày nay, MDP tìm thấy ứng dụng trong việc nghiên cứu các vấn đề tối ưuhóa thông qua lập trình động, robot, điều khiển tự động, kinh tế, sản xuất, v.v

Trong trí tuệ nhân tạo, MDP mô hình hóa các kịch bản ra quyết địnhtuần tự bằng động lực xác suất Chúng được sử dụng để thiết kế các máy móchoặc tác nhân thông minh cần hoạt động lâu hơn trong môi trường mà cáchành động có thể mang lại kết quả không chắc chắn

Các mô hình MDP thường phổ biến trong hai lĩnh vực phụ của AI: lập

kế hoạch xác suất và học tăng cường (RL)

 Lập kế hoạch xác suất là nguyên tắc sử dụng các mô hình đã biết đểhoàn thành các mục đích và mục tiêu của tác nhân Khi làm như vậy, nónhấn mạnh vào việc hướng dẫn máy móc hoặc tác nhân đưa ra quyếtđịnh đồng thời cho phép chúng học cách cư xử để đạt được mục tiêucủa mình

 Học tăng cường cho phép các ứng dụng học hỏi từ phản hồi mà các tácnhân nhận được từ môi trường

2.2.2.2 Nguyên lý hoạt động

Mô hình MDP hoạt động bằng cách sử dụng các yếu tố chính như tácnhân, trạng thái, hành động, phần thưởng và chính sách tối ưu Tác nhân đềcập đến một hệ thống chịu trách nhiệm đưa ra quyết định và thực hiện cáchành động Nó hoạt động trong một môi trường mô tả chi tiết các trạng tháikhác nhau mà tác nhân đang ở trong khi nó chuyển từ trạng thái này sangtrạng thái khác MDP xác định cơ chế làm thế nào các trạng thái nhất định vàhành động của tác nhân dẫn đến các trạng thái khác Hơn nữa, tác nhân nhậnđược phần thưởng tùy thuộc vào hành động mà nó thực hiện và trạng thái mà

nó đạt được (trạng thái hiện tại) Chính sách cho mô hình MDP cho thấy hànhđộng tiếp theo của tác nhân tùy thuộc vào trạng thái hiện tại của nó KhungMDP có các thành phần chính sau:

 R(s) : Phần thưởng.

Biểu diễn minh họa của mô hình MDP như sau:

Hình 2.3 Nguyên lý hoạt động của mô hình MDP

Mô hình MDP sử dụng Thuộc tính Markov, trong đó nêu rõ rằng hoạtđộng ở tương lai chỉ có thể được xác định từ trạng thái hiện tại chứa đựng tất

cả thông tin cần thiết từ quá khứ Thuộc tính Markov có thể được đánh giábằng cách sử dụng phương trình này:

hiện tại để đánh giá các hành động tiếp theo mà không có bất kỳ sự phụ thuộcnào vào các trạng thái hoặc hành động trước đó

2.2.2.3 Chính sách và giá trị

Trong MDP chính sách ( ) được biết là xác định hành động tối ưu củatác nhân trong trạng thái hiện tại để nó nhận được phần thưởng tối đa Nóimột cách đơn giản, nó liên kết các hành động với các trạng thái