NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNG

NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNG NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNGNÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNGNÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNGNÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV ỨNG DỤNG HỌC TĂNG CƯỜNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

NGUYỄN QUY TÔN

NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN

UAV ỨNG DỤNG HỌC TĂNG CƯỜNG

ĐỀ ÁN TỐT NGHIỆP THẠC SĨ HỆ THỐNG THÔNG TIN

Hà Nội – 2024

MỤC LỤC

LỜI CAM ĐOAN i

MỤC LỤC ii

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT v

DANH MỤC BẢNG BIỂU vi

DANH MỤC HÌNH ẢNH vii

MỞ ĐẦU 1

CHƯƠNG 1 - TỔNG QUAN BÀI TOÁN 6

1.1 TỔNG QUAN VỀ HỆ THỐNG MẠNG TRUYỀN DẪN UAV 6

1.1.1 Giới thiệu về UAV 6

1.1.2 Giới thiệu về mạng truyền thông di động 8

1.1.2 Giới thiệu về mạng truyền tin sử dụng UAV 11

1.2 XÁC ĐỊNH VẤN ĐỀ HIỆU SUẤT BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV 13

1.2.1 Tình hình nghiên cứu trong nước 13

1.2.2 Tình hình nghiên cứu nước ngoài 16

1.3 KẾT LUẬN CHƯƠNG 18

CHƯƠNG 2 – GIẢI PHÁP NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV 19

2.1 MÔ HÌNH HỆ THỐNG MẠNG TRUYỀN TIN UAV 19

2.2.1 Mô hình hệ thống 19

2.2.1 Mô hình truyền dẫn tín hiệu 20

2.2 CÁC KỸ THUẬT HỌC MÁY 28

2.2.1 Học tăng cường 28

2.2.2 Markov Decision Process 30

2.2.3 Q-Learning 35

2.2.4 Deep Q-Networks 39

2.3 KẾT LUẬN CHƯƠNG 44

CHƯƠNG 3 – THỰC NGHIỆM VÀ ĐÁNH GIÁ 45

3.1 TỔNG QUAN VỀ PHƯƠNG PHÁP THỰC HIỆN 45

3.1.1 Giới thiệu phương pháp mô phỏng 45

3.1.2 Ưu điểm của phương pháp mô phỏng 46

3.1.3 Nhược điểm của phương pháp mô phỏng 47

3.2 KỊCH BẢN THỰC NGHIỆM 48

3.2.1 Thiết kế môi trường 48

3.2.2 Thiết lập phần thưởng 49

3.2.3 Tham số mô phỏng 49

3.2.4 Giả định 51

3.3 QUY TRÌNH THỰC NGHIỆM 51

3.3.1 Khởi tạo tham số hệ thống 51

3.3.2 Xây dựng thuật toán 53

3.3.3 Đánh giá và phân tích kết quả 58

3.3 KẾT QUẢ THỰC NGHIỆM 59

3.3.1 Tính hội tụ của thuật toán 60

3.3.2 Đánh giá dung lượng bảo mật theo số lượng nghe lén 62

3.3.3 Đánh giá dung lượng bảo mật theo độ cao bay của UAV 63

3.4 KẾT LUẬN CHƯƠNG 65

KẾT LUẬN VÀ KIẾN NGHỊ 66

TÀI LIỆU THAM KHẢO 68

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT

UAV Unmanned Aerial Vehicle Phương tiện bay không người lái ABS Aerial Base Stations Trạm cơ sở

SINR Signal-to-Interference plus

Noise Ratio

Chỉ số đo lường chất lượng tín hiệu

GPS Global Positioning System Hệ thống Định vị Toàn Cầu

IoT Internet of Things Internet vạn vật

LoS Line of Sight Tín hiệu truyền trực tiếp

NLoS Non Line of Sight Tín hiệu truyền có vật cản

UAV-BS Unmanned Aerial Vehicle

Base Station

Mạng truyền tin liên kết giữa trạm phát và phương tiện bay không người lái

SNR Signal-to-Noise Ratio Thước đo số lượng tín hiệu so với

nhiễu có trong tín hiệu

RL Reinforcement Learning Học tăng cường

DQN Deep Q-Network Thuật toán Deep Q-Network

MDP Markov Decision Process Quy trình quyết định của Markov

DANH MỤC BẢNG BIỂU

Bảng 3.1 Các tham số khởi tạo của hệ thống mạng truyền tin 52 Bảng 3.2 Các tham số khởi tạo của học tăng cường 53 Bảng 3.3 Thuật toán DQN 57

DANH MỤC HÌNH ẢNH

Hình 1.1 Hình ảnh UAV 6

Hình 1.2 Mô hình truyền thông hỗ trợ bởi UAV - BS 12

Hình 1.3 Mô hình truyền thông hỗ trợ bởi thiết bị IoT 13

Hình 2.1 Mô hình hệ thống mạng truyền tin UAV 19

Hình 2.2 Mối quan hệ trong học tăng cường 28

Hình 2.3 Nguyên lý hoạt động của mô hình MDP 32

Hình 2.4 Hành động của thuật toán Q-Learning 38

Hình 2.5 Kiến trúc của DQN 40

Hình 2.6 Quy trình phát lại trải nghiệm 42

Hình 3.1 Huấn luyện UAV sử dụng DQN 56

Hình 3.2 Kết quả mô phỏng đường di chuyển của UAV 60

Hình 3.3 Dung lượng bảo mật của hệ thống theo từng thuật toán 61

Hình 3.4 Dung lượng bảo mật của hệ thống theo số lượng nghe lén 62

Hình 3.5 Dung lượng bảo mật của hệ thống theo chiều cao bay UAV 63

Hình 3.6 Xác nhận trình bày tại CISCE 2024 64

MỞ ĐẦU

Lý do chọn đề tài

Ngày nay máy bay không người lái (UAV) đang dần được sử dụng rộng rãi và được kỳ vọng sẽ đóng vai trò quan trọng trong hệ thống liên lạc không dây do những ưu điểm vượt trội của chúng so với các hệ thống liên lạc thông thường Với khả năng di chuyển linh hoạt, tự do của thiết bị UAV do

đó có thể cung cấp liên lạc không dây với thiết bị dưới mặt đất một cách hiệu quả, nhanh chóng cho nhiều tình huống thực tế Đặc biệt khi triển khai truyền thông tín hiệu sử dụng UAV có thể thực hiện cung cấp kết nối mà không cần triển khai cơ sở hạ tầng phức tạp và chất lượng đường truyền tín hiệu của nó ít

bị ảnh hưởng bởi các tòa nhà cao tầng, điều kiện thời tiết, thảm họa thiên nhiên so với các trạm gốc mặt đất

Sử dụng UAV trong hệ thống liên lạc không dây mang lại rất nhiều ưu điểm tuy nhiên việc triển khai hệ thống trong thực tiễn đòi hỏi phải giải quyết các vấn đề bảo mật thông tin rất phức tạp Sự can thiệp trong kết nối giữa thiết bị của người dùng và UAV phục vụ nó do các UAV khác gây ra hoặc đặc biệt do những người nghe lén là một vấn đề quan trọng gây ra nhiều khó khăn khi triển khai hệ thống Ngoài ra khi triển khai phải tính đến sự di chuyển của người dùng và sự gia tăng của thiết bị nghe lén để điều khiển UAV sao cho hệ thống liên lạc là tốt nhất Nâng cao hiệu quả bảo mật giúp hạn chế các dữ liệu bị xâm nhập một cách trái phép Tránh cho các mối hiểm họa về an ninh an toàn của người sử dụng mà rộng hơn là an ninh của doanh nghiệp, quốc gia có thể diễn ra

Đây là một vấn đề khó, tính ứng dụng thực tiễn cao vì vậy học viên đã thực hiện nghiên cứu các thuật toán học máy có thể áp dụng để giải quyết vấn

đề đặt ra Nhận thấy phương pháp ứng dụng học tăng cường là một phương

pháp hiệu quả có thể ứng dụng để giải quyết bài toán Ứng dụng học tăng cường trong UAV mang lại tiềm năng cực lớn để cải thiện khả năng tự động hóa, khả năng di chuyển để tối ưu hóa hiệu quả truyền tin mạng lại nhiều lợi ích cho hiện tại và tương lai

Với những lý do trên học viên quyết định lựa chọn đề tài “Nâng cao hiệu quả bảo mật của mạng truyền tin UAV ứng dụng học tăng cường” cho đề

án tốt nghiệp thạc sĩ của mình Đề tài này thúc đẩy sự tích hợp giữa những xu hướng nổi bật trong lĩnh vực công nghệ bao gồm trí tuệ nhân tạo, học máy ứng dụng vào hệ thống truyền thông tín hiệu Qua đó nó không chỉ là một đề tài mang ý nghĩa lý thuyết mà còn mang lại giá trị thực tế bằng cách đáp ứng nhu cầu ngày càng tăng về sự an toàn và hiệu suất trong ứng dụng UAV đương đại

Tổng quan đề tài

Trong đề tài này, vấn đề lập kế hoạch chuyển động của các UAV được

hỗ trợ bởi trí tuệ nhân tạo bằng cách xem xét vị trí, chuyển động của người dùng và người nghe lén dưới mặt đất bên cạnh đó cũng phải tính đến sự nhiễu

do các UAV đang cùng hoạt động gây ra sao cho tín hiệu được truyền đến người dùng là nhiều nhất và loại bỏ hoặc giảm thiểu tối đa tín hiệu mà đối tượng nghe lén có thể thu được Đề án sẽ cung cấp giải pháp có thể mở rộng cho nhiều môi trường thực nghiệm

Với mong muốn đạt được một giải pháp có thể mở rộng cho nhiều môi trường nên trong đề tài này quyết định sử dụng phương pháp học tăng cường (Reinforcement learning) Môi trường sẽ chứa một mô hình hệ thống bao gồm các mô hình di động, mô hình truyền tải để tính toán tốc độ truyền tin giữa UAV và UE mà UAV liên kết đến Phần thưởng (Reward) và trạng thái (State) nhằm đáp ứng các yêu cầu cơ bản của học tăng cường và cung cấp cho

các tác nhân đào tạo phù hợp để lập kế hoạch quỹ đạo của chúng một cách tối

ưu ngay cả khi có sự thay đổi vị trí của các UE Trong đề tài này học viên thực hiện ứng dụng nhiều thuật toán học tăng cường khác nhau để chứng minh khả năng đáp ứng của phương pháp học tăng cường với bài toán đặt ra

Kết quả đạt được: Mô phỏng được quỹ đạo di chuyển của UAV trong môi trường cho hiệu quả bảo mật kênh truyền từ UAV đến thiết bị người dùng cuối là cao nhất

Mục tiêu nghiên cứu

Mục tiêu của đề tài là tìm hiểu các mô hình kỹ thuật nâng cao bảo mật kênh truyền sử dụng UAV khi xuất hiện các đối tượng nghe lén và học tăng cường từ đó xây dựng chương trình hiệu quả đáp ứng được bài toán nâng cao hiệu quả bảo mật của mạng truyền tin UAV và ứng dụng được vào thực tiễn

Nội dung nghiên cứu

Trong đề tài này nội dung nghiên cứu được chia thành 2 phần:

Thứ nhất, nghiên cứu nguyên lý hoạt động của hệ thống truyền thông tín hiệu sử dụng UAV Các thông số kênh truyền được truyền tải từ UAV đến thiết bị người dùng như nào Tìm hiểu các yếu tố có thể ảnh hưởng đến hiệu quả bảo mật của kênh truyền như chiều cao của UAV, mật độ người nghe lén,

vị trí của người dùng và góc giữa UAV với người dùng

Thứ hai nghiên cứu các kỹ thuật, thư viện hỗ trợ trong học tăng cường

có thể giải quyết được bài toán nâng cao hiệu quả bảo mật của mạng truyền tin sử dụng UAV

Phương pháp nghiên cứu

a) Đề tài được tiếp cận theo các bước sau:

• Bước 1: Tìm hiểu và nghiên cứu mạng truyền tin sử dụng UAV và học tăng cường

• Bước 2: Xác định mô hình truyền tin: Xây dựng các mô hình di động, mô hình truyền dẫn cho hệ thống mạng truyền tin UAV

• Bước 3: Thiết kế môi trường thực hiện Sau khi xác định được mô hình truyền tin sẽ nghiên cứu lựa chọn môi trường thực hiện phù hợp với môi trường truyền tin Tại bước này cần nghiên cứu và xác định được các yếu tố:

o Vị trí ban đầu, công suất phát, độ cao có thể hoạt động và các hoạt động có thể thực hiện của UAV

o Số lượng và khả năng chuyển động của người dùng trong môi trường Số lượng người nghe lén

o Các tham số môi trường, không gian hành động, cấu trúc liên kết

o Các tham số của phương pháp học tăng cường

• Bước 4: Huấn luyện và đánh giá mô hình Dựa trên các yếu tố như tham số, mô hình truyền tin đã được nghiên cứu và thiết lập Tiến hành huấn luyện mô hình và đánh giá hiệu quả của mô hình bằng cách theo dõi chỉ số tỷ lệ tín hiệu trên tạp âm (SINR)

• Bước 5: Tối ưu hóa và điều chỉnh: Tối ưu hóa và điều chỉnh các tham số và thuật toán để mô hình hiệu quả hơn

• Bước 6: Triển khai và kiểm thử: Triển khai mô hình đã huấn luyện vào thực tế Kiểm định mô hình và theo dõi hiệu suất hoạt động của

mô hình

• Bước 7: Cải thiện và nâng cấp mô hình

b) Phương pháp nghiên cứu và kỹ thuật sử dụng:

• Phương pháp phân loại và hệ thống hóa lý thuyết:

o Tóm lược các tài liệu, nghiên cứu trong và ngoài nước để hình thành và tìm ra hướng xử lý cho bài toán

o Tổng hợp các lý thuyết, cách hoạt động của thuật toán có thể áp dụng, lựa chọn các thuật toán phù hợp với vấn đề nghiên cứu Trên cơ sở đó hệ thống các thuật toán gắn với

CHƯƠNG 1 - TỔNG QUAN BÀI TOÁN 1.1 TỔNG QUAN VỀ HỆ THỐNG MẠNG TRUYỀN DẪN UAV

1.1.1 Giới thiệu về UAV

Thiết bị bay không người lái hay còn được gọi ngắn gọn là UAV hoặc

drones [21], là những phương tiện bay không người lái đang có vai trò ngày càng quan trọng và đa dạng trong nhiều lĩnh vực Được thiết kế để hoạt động

mà không cần sự can thiệp trực tiếp của con người, UAV mang lại sự linh hoạt và khả năng thực hiện nhiệm vụ hiệu quả trong những môi trường khó tiếp cận hoặc nguy hiểm

Hình 1.1 Hình ảnh UAV

Các UAV thường được trang bị các cảm biến đa dạng như camera quang học, cảm biến nhiệt độ, cảm biến khí tượng, và GPS, mang lại khả năng thu thập thông tin đa chiều về môi trường xung quanh Nhờ vào những tiến bộ trong công nghệ pin và động cơ, UAV có thể bay được thời gian dài

và xa, mở ra nhiều ứng dụng hữu ích từ giám sát môi trường, quản lý tài nguyên, đến ứng dụng trong y tế, quân sự, và nhiều lĩnh vực khác

UAV được điều khiển trong buồng lái có cần điều khiển, các cần gạt và nhiều nút khác nhau tương tự như một chiếc máy bay thương mại Nhóm phi

công có thể ngồi ở căn cứ để lái máy bay Những chiếc UAV có cấu tạo ít phức tạp và dễ điều khiển hơn thì có thể điều khiển thông qua một bộ điều khiển radio, hay thậm chí là cả smartphone và tablet.

Một trong những điểm mạnh lớn của UAV là khả năng thực hiện nhiệm

vụ ở những vùng đất khó tiếp cận hoặc nguy hiểm đối với con người Chúng

có thể được sử dụng trong việc kiểm tra môi trường tự nhiên, giám sát rừng cháy, đo lường biến đổi khí hậu, hay thậm chí làm nhiệm vụ tìm kiếm cứu nạn Dưới đây là các ứng dụng của UAV trong các lĩnh vực điển hình trong cuộc sống:

• Quân sự: Trong lĩnh vực quân sự, UAV được sử dụng làm nhiệm vụ tính báo, do thám và theo dõi: tìm kiếm thông tin chiến thuật trên chiến trường, thực hiện nhiệm vụ tấn công trong các trường hợp rủi ro cao, truyền hình trực tiếp hình ảnh hoặc video về căn cứ hoặc đóng vai trò là bia ngắm bắn cho hệ thống vũ khí trên mặt đất hoặc trên không Ngoài ra, nó còn đảm nhiệm vai trò thí nghiệm cho các công nghệ UAV mới

• Dân dụng và thương mại: UAV có thể dùng trong việc vận

chuyển hàng hóa giao – nhận (như Amazon hay Pizza Inn đã ứng dụng)

• Cứu nạn cứu hộ: Trong công tác cứu nạn cứu hộ, UAV được sử dụng để tìm kiếm, phát hiện con người trong những trường hợp nguy hiểm như sạt lở, lũ lụt, hỏa hoạn hay động đất để truyền trực tiếp tư liệu cần thiết phục vụ việc cứu hộ cứu nạn

• Nông nghiệp: UAV được trang bị các thiết bị chụp ảnh độ phân giải cao, giảm thời gian và công sức trong các nội dung trắc địa, bản đồ, tăng

độ chính xác

• Điện ảnh, Truyền hình: Trong lĩnh vực điện ảnh – truyền hình,

UAV được sử dụng để hỗ trợ truyền tải những hình ảnh trực tiếp và giúp ghi hình những cảnh quay khó từ trên không trung

• Mạng viễn thông: Trong lĩnh vực truyền dẫn tín hiệu cho các

mạng viễn thông, UAV được coi như một trạm phát tín hiệu trên cao giúp truyền tải tín hiệu đến những nơi con người khó tiếp cận hoặc cần tính linh động mà trạm dưới mặt đất không thực hiện được

• Các lĩnh vực khác: UAV còn được sử dụng để dự báo thời tiết,

thu thập thông tin khí tượng, kiểm tra khảo sát ở những nơi nguy hiểm mà con người không thể tiếp cận Ngoài ra, UAV còn được sử dụng để phục vụ mục đích giải trí đối với những người đam mê chinh phục bầu trời bằng các loại máy bay điều khiển từ xa để thỏa mãn thú vui và đưa đến cảm giác trải nghiệm thực trên không

Với khả năng tự động hóa và tính linh hoạt, UAV không chỉ giúp tiết kiệm chi phí và thời gian mà còn mang lại những giải pháp đổi mới cho nhiều thách thức hiện đại Từ việc cải thiện năng suất đến giảm thiểu rủi ro cho con người, UAV đang mở ra một tương lai hứa hẹn với sự kết hợp sáng tạo của công nghệ bay không người lái và các lĩnh vực ứng dụng rộng lớn

Đề án này tập trung nghiên cứu về ứng dụng của UAV trong truyền dẫn tín hiệu cho các mạng viễn thông, UAV đóng vai trò như một trạm gốc trên không giúp chuyển tiếp tín hiệu từ trạm mặt đất tới người dùng cuối

1.1.2 Giới thiệu về mạng truyền thông di động

Mạng truyền tin di động [22] là một hệ thống phức tạp của các cơ sở hạ tầng và công nghệ được thiết kế để cung cấp dịch vụ truyền thông không dây cho các thiết bị di động như điện thoại di động, máy tính bảng, và các thiết bị thông minh khác Điều này cho phép người dùng di chuyển và vẫn duy trì kết

nối liên tục với mạng, giúp họ truy cập Internet, gọi điện thoại, gửi tin nhắn văn bản, và sử dụng các ứng dụng khác mọi nơi và mọi lúc

Cấu trúc của mạng truyền tin di động bao gồm:

• Trạm cơ sở (Base Station) phát sóng và thu sóng

• Hệ thống truyền tải dữ liệu

• Các thiết bị di động

Trạm cơ sở có trách nhiệm quản lý kết nối và truyền tải dữ liệu giữa thiết bị di động và mạng truyền tin di động Mạng truyền tin di động cho phép người dùng di chuyển và vẫn duy trì kết nối liên tục, cung cấp dịch vụ như cuộc gọi điện thoại, truyền dữ liệu, và truy cập internet ngay cả khi họ đang di chuyển qua nhiều vùng phủ sóng khác nhau Điều này tạo ra sự linh hoạt và tiện lợi cho người sử dụng trong cuộc sống hàng ngày

Mạng truyền tin di động sử dụng sóng radio để truyền tải dữ liệu giữa thiết bị di động và trạm cơ sở Các chuẩn giao thức như 3G, 4G, và 5G đã và đang được phát triển để cung cấp tốc độ truyền tải dữ liệu nhanh, độ ổn định cao, và khả năng kết nối hàng tỷ thiết bị đồng thời [5]

• 2G (2nd Generation): Thế hệ đầu tiên của mạng di động, thường được biết đến là GSM (Global System for Mobile Communications) và CDMA (Code Division Multiple Access) 2G chủ yếu cung cấp dịch vụ thoại di động và tin nhắn văn bản

• 3G (3nd Generation): Cung cấp tốc độ truyền dữ liệu nhanh hơn, cho phép người dùng trải nghiệm Internet di động, video call, và các dịch vụ multimedia khác

• 4G (4nd Generation): Đem lại tốc độ truyền dữ liệu rất cao, cung cấp trải nghiệm Internet nhanh chóng, streaming video chất

lượng cao, và hỗ trợ các ứng dụng phức tạp như trò chơi trực tuyến và thực tế ảo

• 5G (5nd Generation): Được thiết kế để cung cấp tốc độ truyền

dữ liệu siêu nhanh, độ trễ thấp, và khả năng kết nối hàng tỷ thiết

bị đồng thời 5G mở ra cánh cửa cho nhiều ứng dụng mới như Internet of Things (IoT), xe tự lái, và công nghiệp 4.0

Mạng truyền tin di động hiện đại sử dụng các công nghệ và tiêu chuẩn tiên tiến để mạng truyền tin có thể hoạt động một cách tối ưu nhất nhằm đáp ứng nhu cầu ngày càng cao của người dùng Các công nghệ và tiêu chuẩn được sử dụng phổ biến hiện nay bao gồm:

• CDMA (Code Division Multiple Access): Sử dụng phương pháp

mã hóa để cho phép nhiều người dùng truy cập mạng cùng một lúc

• GSM (Global System for Mobile Communications): Là một tiêu chuẩn mạng di động phổ biến trên toàn cầu, được sử dụng rộng rãi trong hệ thống 2G và 3G

• LTE (Long-Term Evolution) Là công nghệ tiên tiến được sử dụng trong mạng 4G, cung cấp tốc độ dữ liệu truyền cao và hiệu suất ổn định hơn

Mạng truyền tin di động hiện nay đã phát triển và mang đến cho người dùng nhiều tính năng độc đáo và tiện ích Một trong những tính năng quan trọng nhất của mạng này là khả năng truy cập Internet, cho phép người dùng lướt web, xem video, đọc báo, tìm kiếm thông tin và thực hiện các tác vụ trực tuyến từ bất kỳ đâu và bất kỳ lúc nào Đồng thời, mạng truyền tin di động cung cấp dịch vụ tin nhắn văn bản (SMS) và tin nhắn đa phương tiện (MMS),

giúp người dùng gửi và nhận thông điệp, hình ảnh, video và âm thanh một cách nhanh chóng và tiện lợi

Ngoài ra, cuộc gọi và video call cũng là tính năng không thể thiếu của mạng truyền tin di động, cho phép người dùng giao tiếp trực tiếp và trực quan với người thân, bạn bè và đối tác kinh doanh từ xa Mạng di động cũng hỗ trợ các dịch vụ giải trí như nghe nhạc trực tuyến, xem phim, chơi game và truyền hình số di động, mang lại trải nghiệm giải trí đa dạng và phong phú cho người dùng Không chỉ vậy, tính năng định vị GPS trên điện thoại di động cũng giúp người dùng xác định vị trí, tìm đường đi và khám phá địa điểm mới một cách

dễ dàng và chính xác

1.1.2 Giới thiệu về mạng truyền tin sử dụng UAV

Hệ thống mạng truyền tin sử dụng UAV là một cải tiến kỹ thuật được

áp dụng vào cuộc sống bằng cách sử dụng UAV như một trạm thu phát sóng trên không [23] Với ưu điểm về di chuyển linh hoạt, khả năng quan sát từ xa, hoạt động ổn định ở trên cao, UAV được xem là một giải pháp tiềm năng để tăng dung lượng mạng, tối ưu hóa phân bổ tài nguyên truyền thông không dây đặc biệt ở những khu vực mà cơ sở hạ tầng truyền thống bị hạn chế hoặc không thể triển khai [3-4] UAV có thể được sử dụng để đảm nhiệm các nhiệm vụ tương ứng trong các mô hình truyền thông như:

• UAV-BS (Unmanned Aerial Vehicle Base Station): là một loại trạm

gốc không người lái có các chức năng tương tự như một trạm gốc thông thường, nhưng với khả năng hoạt động ở độ cao lớn hơn và linh hoạt hơn Mô hình trạm gốc cho phép UAV-BS được ứng dụng trong trường hợp:

o Hỗ trợ phủ sóng không dây ở vùng sâu và vùng xa: UAV-BS có thể được triển khai trong các khu vực khó tiếp cận hoặc không có cơ sở hạ tầng mạng cố định Bằng cách cung cấp kết nối vô tuyến từ trên cao, UAV-

BS có thể mở rộng phạm vi phủ sóng mạng di động và cung cấp dịch vụ truyền thông cho các khu vực xa, nơi truy cập truyền thông truyền thống khó khăn

o Giảm tải lưu lượng tạm thời ở các địa điểm phát sóng di động: Trong các sự kiện lớn, các hoạt động tập trung đông người, lưu lượng truyền thông tạm thời tăng cao UAV-BS có thể được triển khai như một trạm gốc di động tạm thời để giảm tải lưu lượng truyền thông tại các địa điểm đông người, đảm bảo rằng người dùng vẫn có kết nối ổn định và chất lượng dịch vụ cao

o Khôi phục dịch vụ sau thảm họa, thiên tai: Trong các tình huống thiên tai, thiên tai, hoặc các tình huống khẩn cấp, hạ tầng viễn thông có thể bị hỏng hoặc bị tạm đình chỉ UAV-BS có thể được triển khai nhanh chóng để khôi phục kết nối truyền thông và cung cấp dịch vụ liên lạc trong thời gian ngắn, hỗ trợ các hoạt động cứu trợ và quản lý tình hình khẩn cấp

Hình 1.2 Mô hình truyền thông hỗ trợ bởi UAV - BS

• UAV thu thập dữ liệu và phổ biến thông tin: UAV thể được sử dụng

để thu thập dữ liệu và phổ biến thông tin trong mạng truyền thông Chúng có thể hoạt động như các điểm truy cập trên không (AP) để phổ biến hoặc thu

thập thông tin từ các nút trên mặt đất Ứng dụng của UAV trong mạng lưới truyền thông Internet của Vạn vật (IoT) và mạng lưới cảm biến không dây cho phép việc thu thập dữ liệu từ các cảm biến và truyền thông tin đến các nút trung tâm một cách hiệu quả UAV có khả năng di chuyển linh hoạt trong không gian, cho phép tiếp cận các vị trí khó tiếp cận trên mặt đất và thu thập thông tin từ đó [15, tr 7-9]

Hình 1.3 Mô hình truyền thông hỗ trợ bởi thiết bị IoT

1.2 XÁC ĐỊNH VẤN ĐỀ HIỆU SUẤT BẢO MẬT CỦA MẠNG

TRUYỀN TIN UAV

1.2.1 Tình hình nghiên cứu trong nước

Trong nước bài toán nâng cao hiệu quả hệ thống mạng truyền tin UAV

là một đề tài mới cần nhiều công nghệ cao cho nên chỉ có khá ít các nghiên cứu được công bố về nội dung này Dưới đây là các bài nghiên cứu đã được công bố nổi bật nhất

1.2.1.1 Phân tích xác suất dừng của việc lựa chọn UAV thu thập năng lượng

Nghiên cứu “phân tích xác suất dừng của việc lựa chọn UAV thu thập năng lượng” của tác giả Hồ Văn Khương đăng trên tạp chí khoa học Công nghệ và Thực phẩm 20(4)(2020)33-42 [2] Trong nghiên cứu của mình tác giả thực hiện xây dựng hệ thống với mục đích thực hiện được các nội dung:

• Đề xuất một phương pháp lựa chọn UAV mà chỉ chọn một UAV làm thiết bị chuyển tiếp từ một nhóm UAV, tất cả đều có khả năng thu thập năng lượng từ tín hiệu tần số vô tuyến cho truyền tin tin cậy mà không chịu các áp lực lớn về băng thông phát, tiêu thụ năng lượng, và đồng bộ tín hiệu

• Đề xuất một công thức ở dạng tường minh chính xác về xác suất dừng (Outage Probability - OP) cho việc lựa chọn UAV thu thập năng lượng

có xét đến suy hao đường truyền và fading Rayleigh

• Cung cấp nhiều kết quả để có cái nhìn sâu sắc về tác động của các thông số vận hành chính như công suất phát, hệ số chia thời gian và hiệu suất chuyển đổi năng lượng của UAV đến độ tin cậy truyền tin của

hệ thống truyền thông chuyển tiếp được hỗ trợ bởi các UAV

Nghiên cứu này đã mô tả một hệ thống truyền thông chuyển tiếp được

hỗ trợ bởi các UAV trong đó chỉ có một UAV trong số nhiều UAV được chọn làm thiết bị chuyển tiếp Tất cả các UAV đều có khả năng thu thập năng lượng từ tín hiệu tần số vô tuyến Hiệu năng của hệ thống đã được phân tích theo xác suất dừng của thiết bị đích thông qua biểu thức dạng tường minh chính xác được đề xuất Phân tích được xác minh bằng mô phỏng Monte-Carlo Nhiều kết quả cho thấy hiệu quả của việc lựa chọn UAV trong việc giữ kết nối tin cậy qua khoảng cách lớn Ngoài ra, các kết quả đã chứng minh

rằng hệ số phân chia thời gian cho quá trình thu thập năng lượng có thể được tối ưu hóa để đạt được hiệu năng hệ thống tốt nhất

1.2.1.2 Ước lượng hiệu năng bằng kỹ thuật học sâu cho hệ thống mặt phản

xạ thông minh RIS kết hợp thiết bị bay không người lái UAV trong truyền thông gói tin ngắn hạn

Nghiên cứu “Ước lượng hiệu năng bằng kỹ thuật học sâu cho hệ thống mặt phản xạ thông minh RIS kết hợp thiết bị bay không người lái UAV trong truyền thông gói tin ngắn hạn” của tác giả Huỳnh Văn Hóa, Võ Nguyễn Quốc Bảo đăng trên tạp chí khoa học công nghệ thông tin và truyền thông số 04 (CS.01) 2022 [1] Trong nghiên cứu nhóm tác giả tiến hành sử dụng kỹ thuật học sâu ứng dụng vào mô hình mạng chuyển tiếp đa chặng trong truyền thông gói tin ngắn Nhóm tác giả tiến hành khảo sát với số lượng các lớp ẩn khác nhau để đánh giá chất lượng của mô hình Những đóng góp chính của nghiên cứu này bao gồm:

• Xây dựng mô hình mạng truyền thông gói tin ngắn với sự hỗ trợ của RIS theo số lượng các phần tử khác nhau

• Tính toán tỉ lệ lỗi khối theo mô hình đã đề xuất và xây dựng mô hình mạng DL nhằm tăng cường công cụ để đánh giá hiệu năng của hệ thống

• Khảo sát các vị trí khác nhau của UAV và ảnh hưởng của hệ số kênh truyền trong hệ thống

• Mô phỏng với các giá trị hệ số suy hao khác nhau theo mô hình đề xuất Kết quả đạt được của nghiên cứu, nhóm tác giả đã đề xuất mạng truyền thông gói tin ngắn sử dụng kỹ thuật giải mã và chuyển tiếp với sự hỗ trợ của RIS và UAV Theo kênh truyền fading Rayleigh, tác giả đã đưa ra biểu thức dạng đóng cho tỉ lệ lỗi khối của mô hình đề xuất Bên cạnh đó, tác giả cũng đã

đưa ra được biểu thức tính tiệm cận của hệ thống ở dải công suất phát cao Các kết quả phân tích số trong mô hình đề xuất đều trùng khớp với kết quả

mô phỏng Monte-Carlo

Tác giả đã sử dụng kỹ thuật học sâu để kiểm chứng kết quả phân tích lý thuyết Thông qua mô hình đề xuất và mạng huấn luyện nơ-ron sâu, nhận thấy rằng các kết quả phân tích lý thuyết, mô phỏng Monte Carlo và mạng nơ-ron sâu là tương đối trùng khớp Ngoài ra mạng nơ-ron sâu còn được sử dụng để kiểm chứng thông số hệ số kênh truyền ở những giá trị khác nhau cũng làm thay đổi giá trị của BLER Khi SNR ở mức cao thì hiệu năng hệ thống được cải thiện Tuy nhiên khi tỉ số SNR càng cao và kết hợp với số lượng RIS cũng tăng nên kết quả huấn luyện chưa thật sự tốt Cuối cùng, khi xét tổng quan về

hệ thống, rõ ràng, nếu xét yếu tố các phần tử của mặt phản xạ thông minh, thấy rằng với các thông số đã thiết lập thì với giá trị số phần tử ở mức bằng

1.2.2 Tình hình nghiên cứu nước ngoài

1.2.2.1 Prioritized User Association for Sum-Rate Maximization in Assisted Emergency Communication: A Reinforcement Learning Approach

UAV-Nghiên cứu “Prioritized User Association for Sum-Rate Maximization

in UAV-Assisted Emergency Communication: A Reinforcement Learning Approach” của nhóm tác giả Abdul Basit Siddiqui, Iraj Aqeel, Ahmed Alkhayyat, Umer Javed and Zeeshan Kaleem được đăng trên tạp chí MDPI Drones 2022, 6, 45 [3] Vị trí của máy bay không người lái và hiệp hội người dùng là một thách thức quan trọng để kích hoạt liên lạc khẩn cấp Trong bài báo này, tác giả đã xử lý vấn đề tối ưu hóa tỷ lệ tổng người dùng bằng cách liên kết những người dùng được ưu tiên với các trạm cơ sở khẩn cấp trên không đã triển khai

Để giải quyết thách thức đưa ra nhóm tác giả đã sử dụng một khung học tập tăng cường được đề xuất để tối đa hóa số lượng người dùng được phục vụ bằng cách tối ưu hóa vị trí và sức mạnh của ABS 3D Tác giả cũng thiết kế chức năng khen thưởng ưu tiên người dùng khẩn cấp thiết lập kết nối với ABS bằng Q-learning

Kết quả mô phỏng đã xác minh rằng hiệu suất theo sơ đồ đề xuất tăng đáng kể về mặt tốc độ tổng và giảm số lượng người dùng gặp sự cố ngừng hoạt động so với sơ đồ liên kết người dùng dựa trên SNR thông thường Bên cạnh đó nghiên cứu cho thấy rằng tổng tỷ lệ tăng khi số lượng ABS tăng lên, nhưng sau khi triển khai hơn 4 ABS, tổng tỷ lệ bắt đầu giảm Lý do là khi số lượng ABS tăng lên thì độ nhiễu giữa chúng cũng tăng lên khiến tỷ lệ tổng giảm xuống Bằng cách so sánh hai sơ đồ này, tác đã đạt được tốc độ tổng trung bình khoảng 23 bps/Hz so với sơ đồ liên kết người dùng dựa trên SINR thông thường

1.2.2.2 Outage Probability of UAV Communications in the Presence of Interference

Nghiên cứu “Outage Probability of UAV Communications in the Presence of Interference” của nhóm tác giả Minsu Kim và Jemin Lee đăng trên tạp chí IEEE Global Communications Conference (GLOBECOM), Abu Dhabi, United Arab Emirates, 9–13 December 2018 [20] Trong nghiên cứu này tác giả phân tích tác động của nhiễu lên thông tin liên lạc của UAV bằng cách xem xét xác suất LoS và các kênh mờ dần khác nhau đối với các liên kết LoS và các liên kết không theo đường truyền (NLoS), bị ảnh hưởng bởi góc nâng của liên kết liên lạc Sau đó, tác giả rút ra xác suất ngừng hoạt động ở dạng đóng khi có nút gây nhiễu cho tất cả các tình huống và môi trường có thể xảy ra của các liên kết chính và liên kết nhiễu

Sau khi thảo luận về tác động của việc truyền và can thiệp các thông số nút đến xác suất ngừng hoạt động, nghiên cứu cho thấy sự tồn tại của độ cao tối ưu của UAV giúp giảm thiểu xác suất ngừng hoạt động Nghiên cứu cũng cho thấy môi trường NLoS có thể tốt hơn môi trường LoS nếu công suất trung bình thu được của nhiễu chiếm ưu thế hơn công suất phát tín hiệu trong liên lạc UAV

và thấy rằng hệ thống mạng truyền tin sử dụng UAV xuất phát từ ý tưởng xây dựng một mạng truyền tin có thể phủ sóng tạm thời hoặc tăng cường kết nối trong các khu vực khó tiếp cận hoặc trong các tình huống khẩn cấp Với những ưu điểm của hệ thống mạng truyền tin UAV là tính linh hoạt, khả năng phục hồi và khả năng truyền thông trong phạm vi rộng có nhiều người

Các nghiên cứu trong nước và ngoài nước được đăng trên các tạp chí

uy tín để giải quyết bài toán xây dựng hệ thống nâng cao hiệu quả mạng truyền tin UAV cũng đã được trình bày Các nghiên cứu đã đưa ra các thuật toán, mô hình ứng dụng vào bài toán một cách hiệu quả

Xong vấn đề đặt ra sau khi tìm hiểu về hệ thống mạng truyền tin sử dụng UAV là làm sao tối ưu được hiệu quả bảo mật của hệ thống? Có thể áp dụng các kỹ thuật công nghệ thông tin vào bài toán nâng cao hiệu quả bảo mật của hệ thống mạng truyền thông sử dụng UAV không? Những câu hỏi này sẽ được tìm hiểu và giải đáp trong chương tiếp theo

CHƯƠNG 2 – GIẢI PHÁP NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA

MẠNG TRUYỀN TIN UAV 2.1 MÔ HÌNH HỆ THỐNG MẠNG TRUYỀN TIN UAV

2.2.1 Mô hình hệ thống

Trong đề án này, học viên thiết kế giả lập một mô hình truyền tin với

sự hỗ trợ của UAV, mô tả chi tiết trong Hình 2.1 Trong mô hình này có một trạm GBS phát tín hiệu với UAV ở độ cao trên 100m so với mặt đất UAV sẽ chuyển tiếp tín hiệu đến các người dùng Mỗi người dùng giao tiếp bằng cách

sử dụng thiết bị người dùng (UE) của họ với UAV và được UAV gần nhất phục vụ một cách linh hoạt Ngoài ra trong mạng có các người nghe lén (E) cũng có thể nghe lén được tín hiệu[19]

Hình 2.1 Mô hình hệ thống mạng truyền tin UAV

Trong đó:

- GBS: Trạm cơ sở phát sóng

- UAV1, UAV2, UAVn: Thiết bị bay không người lái UAV

- (x1, y1, h1), (x1, y1, h1), (xn, yn, hn): Tọa độ của UAV

- xu, yu: Tọa độ của người dùng

- Xe, ye: Tọa độ người nghe lén

Với mục đích giữ cho môi trường thực tế hơn, người dùng có thể di chuyển trong thời gian bay của UAV Bởi vì các UAV nhanh hơn người dùng

và để đảm bảo tính liên tục của mô phỏng được xác định theo cách rời rạc, khoảng thời gian di chuyển của người dùng được cố định theo tỷ lệ vận tốc của người dùng-UAV Tất cả người dùng đều có vectơ hành động bao gồm di chuyển sang phải, trái, tiến, lùi và giữ nguyên trạng thái tĩnh với cùng độ dài nhưng có trình tự khác nhau Đường dẫn mà người dùng đi theo được xác định trước trước khi mô phỏng một cách ngẫu nhiên bằng cách sử dụng phân phối ngẫu nhiên trên vectơ hành động của riêng mỗi người dùng để mô hình

di động của người dùng trong môi trường ổn định và chính xác

2.2.1 Mô hình truyền dẫn tín hiệu

Trong hệ thống mạng truyền tin di động sử dụng UAV, mô hình kênh truyền từ UAV đến thiết bị người dùng đóng vai trò quan trọng trong việc đảm bảo hiệu suất và độ tin cậy của kết nối không dây Mô hình này có thể chia thành hai trạng thái chính: đường thẳng (LoS - Line of Sight) và bị che khuất bởi chướng ngại vật (NLoS - Non-Line of Sight)[18]

Trong trường hợp đường thẳng (LoS), khi có tầm nhìn trực tiếp giữa UAV và thiết bị người dùng, tín hiệu có thể truyền qua không gian một cách trực tiếp không bị cản trở, hiệu quả truyền thông cũng như tốc độ truyền tải nhanh và độ tin cậy cao Ngược lại, môi trường bị che khuất (NLoS) như trong các khu vực đô thị có nhiều chướng ngại vật như tòa nhà và cây cỏ, tín hiệu phải đi qua hoặc chảy xung quanh những chướng ngại vật này, có thể dẫn đến giảm chất lượng tín hiệu và tăng độ trễ

Trong đề án này học viên thực hiện mô hình hóa hai kênh truyền theo 2 loại khác nhau trong đó: kênh truyền LoS được mô hình hóa theo kiểu Rician Fading, còn NLoS được mô hình hóa theo phân phối xác suất Rayleigh [20]

( ) ( )( )={f LoS l

NLoS

f l (2.1)

Trong đó

- l: Khoảng cách từ ABS đến người dùng

- fNLoS(l) là hàm mật độ xác suất của mất mát kênh truyền NLoS

- fLoS(l) là hàm mật độ xác suất của mất mát kênh truyền LoS

Hàm mật độ xác suất của mất mát kênh truyền NLoS tuân theo phân phối Chi-squared phi tâm Với Chi-squared phi tâm (Phi coefficient) là một hệ

số tương quan được sử dụng để đo lường mức độ tương quan giữa hai biến phân loại Nó thường được sử dụng trong phân tích dữ liệu đo đạc theo thang

đo cấp bậc (ordinal data) hoặc dữ liệu phân loại (categorical data) [20] Từ đó

có thể tính hàm mật độ xác suất của mất mát kênh truyền NLoS như sau:

0

2 ( ) exp

- Ω: Tham số phi tâm của phân phối Chi-Squared

- exp: Hàm mũ cơ số e (Cơ số Euler)

Hàm mật độ xác suất của mất mát kênh truyền LoS tuân theo phân phối

mũ Phân phối mũ thường được sử dụng để mô hình hóa thời gian giữa các sự kiện độc lập và đồng nhất, và trong trường hợp mất mát kênh, nó có thể được

sử dụng để mô tả sự giảm mạnh của tín hiệu khi truyền qua không gian trong

điều kiện Line of Sight Hàm mật độ xác suất của mất mát kênh truyền LoS

- l: Khoảng cách từ ABS đến người dùng

- α: tham số tỷ lệ của phân phối mũ

- exp: Hàm mũ cơ số e (Cơ số Euler)

Trong môi trường thực nghiệm là một môi trường có xét đến các yếu tố ngoại cảnh như mật độ của tòa nhà và chiều cao của ngôi nhà Đây là các yếu

tố ngoại cảnh ảnh hưởng trực tiếp đến xác suất xuất hiện của tia truyền thẳng Khi mật độ của tòa nhà càng lớn tỷ lệ xuất hiện của LoS càng thấp và ngược lại điều này cũng tương tự với chiều cao của ngôi nhà Xác suất xuất hiện của LoS sẽ được tính:

Trong đó

- exp: Hàm mũ cơ số e (Cơ số Euler)

- α1, β1: Tham số môi trường

- : Góc nâng phụ thuộc vào chiều cao của ABS cũng như khoảng cách từ ABS đến UE

Từ phương trình xác suất xuất hiện của LoS có thể thấy khi tăng góc nâng xác suất xuất hiện của LoS sẽ tăng Góc nâng được xác định bởi công thức:

180tan

h

d (2.5)

Trong đó

- hm: Chiều cao của trạm ABS

- : Khoảng cách giữa ABS đến UE trong không gian 3 chiều

Khoảng cách giữa ABS đến UE trong không gian 2 chiều được tính theo công thức:

ij 1,2, , 1,2, ,

- x i, yi: Tọa độ vị trí của UAV

- x j, yj: Tọa độ vị trí của UAV

Bằng cách sử dụng xác suất của LoS đã được tính có thể dễ dàng xác định xác suất của NLoS như sau:

• Khoảng cách: Mất mát đường truyền thường tăng theo khoảng cách giữa bộ truyền và bộ thu Theo định luật nghịch bình phương, nếu khoảng cách tăng gấp đôi, công suất của tín hiệu sẽ giảm gấp bốn

• Góc tín hiệu: Góc mà tín hiệu đi vào anten cũng có thể ảnh hưởng đến mất mát đường truyền, đặc biệt là trong mô hình không có đường trực tiếp (NLoS)

• Độ cao của ABS: Độ cao của anten ở cả hai đầu (trạm gửi và trạm thu) cũng có thể ảnh hưởng đến mất mát đường truyền

• Môi trường: Sự có hay không có chướng ngại vật như tòa nhà, cây cỏ, hoặc các vật thể khác trong không gian truyền thông cũng ảnh hưởng đến mất mát đường truyền

• Tần số của tín hiệu: Tần số của tín hiệu cũng có thể ảnh hưởng đến mất mát đường truyền Tín hiệu ở tần số cao hơn thường trải qua mất mát đường truyền lớn hơn so với tín hiệu ở tần số thấp

Tỷ lệ mất mát đường truyền từ ABS đến người dùng kết nối được xác định:

- Tần số của tín hiệu (trong hertz)

- : Khoảng cách giữa ABS và UE

- : Là tốc độ ánh sáng, khoảng 3*10^8 mét/giây, và xuất hiện để chuyển đổi thời gian và khoảng cách

- Là thêm vào biểu thức để mô tả mất mát nhiễu (noise loss) hoặc các yếu tố khác không được tính toán trong các yếu tố khác của biểu thức

Tổn hao đường truyền trung bình theo xác suất là một đại lượng được

sử dụng trong truyền thông không dây để mô tả mức độ mất mát tín hiệu qua không gian dựa trên xác suất Cụ thể, nó biểu thị mức độ mất mát tín hiệu kỳ vọng hoặc trung bình dựa trên xác suất:

m=m LoS*P LoS +m NLoS +P NLoS (2.10) SINR là viết tắt của "Signal-to-Interference-plus-Noise Ratio" Đây là một thước đo được sử dụng trong truyền thông không dây để đánh giá chất lượng của một kết nối truyền thông, đặc biệt trong môi trường có nhiều tín hiệu và nhiễu SINR cung cấp thông tin về mức độ tín hiệu so với các nhiễu

và tín hiệu ngoại vi trong môi trường truyền thông Giá trị SINR cao thường báo hiệu rằng tín hiệu chính là mạnh và không bị ảnh hưởng quá mức bởi nhiễu và tín hiệu ngoại vi, điều này làm tăng khả năng truyền thông ổn định

và hiệu quả của kết nối không dây

SINR từ UAV tới người dùng với mô hình đề xuất (Hình 2.1) được xác định bởi công thức (2.11)

−

u ij

- P u : Công suất của tín hiệu truyền đi (transmitted signal power)

- g ij: Hiệu suất của anten tại bộ thu từ UAV thứ i tại người dùng j

- m ij: Tổn hao đường truyền trung bình theo xác suất tại UAV thứ i và người dùng j

- I: Công suất nhiễu (interference power)

- P na I− : Phương sai nhiễu và nhiễu đồng kênh

SINR từ UAV tới nghe lén được xác định bởi công thức:

- P u : Công suất của tín hiệu truyền đi (transmitted signal power)

- g ie: Hiệu suất của anten tại bộ thu từ UAV thứ i tại nghe lén e

- m ie: Tổn hao đường truyền trung bình theo xác suất tại UAV thứ

i và nghe lén e

- I: Công suất nhiễu (interference power)

- P na I− : Phương sai nhiễu và nhiễu đồng kênh

- P AN: Công suất nhiễu

Trong mô hình hệ thống truyền tin sử dụng UAV chúng học viên sử dụng một công suất phát nhiễu nhiễu nhân tạo cho UAV Với người dùng hợp pháp sẽ nhận được toàn bộ thông tin đã được mã hóa do vậy công suất phát nhiễu sẽ bằng 0 còn với kẻ nghe lén do truy cập trái phép nên thông tin nghe

lén được sẽ phải chịu công suất nhiễu và khó khăn trong việc nhận tín hiệu hơn Khi đó SINR tại kẻ nghe lén sẽ được xác định bởi:

Data rate, hay tỷ lệ dữ liệu, là một đo lường cho khả năng truyền tải dữ liệu qua một mạng truyền thông trong một khoảng thời gian cụ thể Được đo lường bằng bits per second (bps), data rate chỉ ra số lượng dữ liệu mà một hệ thống hoặc kết nối có thể truyền qua mỗi giây

Data rate là một khía cạnh quan trọng của hiệu suất mạng và truyền thông Càng cao data rate, hệ thống càng có khả năng truyền tải lượng lớn dữ liệu một cách nhanh chóng Data rate được ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm mạng di động, Internet, truyền hình kỹ thuật số, và các loại truyền thông khác

Data rate thường được định rõ bởi các yếu tố như tần số của tín hiệu, rộng băng thông, và các kỹ thuật truyền thông cụ thể được sử dụng Ví dụ, trong mạng di động, data rate thường được mô tả dưới dạng bps hoặc Mbps (megabits per second), trong khi trong mạng cáp, nó có thể được đo bằng Mbps hoặc Gbps (gigabits per second)

1

=

= kn

ki ki

SSR SC (2.16)

Vậy từ phương trình (2.16) có thể nhận thấy muốn nâng cao được bảo mật của hệ thống cần phải giảm E

ie

R Muốn giảm E

ie

R có thể có nhiều cách khác nhau như tăng khoảng cách giữa ABS và nghe lén hoặc tăng nhiễu

2.2 CÁC KỸ THUẬT HỌC MÁY

2.2.1 Học tăng cường

Học tăng cường (reinforcement learning) là một loại kỹ thuật máy học mà một hệ thống tự động tìm hiểu và cải thiện hành vi của mình thông qua tương tác với môi trường [24] Quy trình này dựa trên nguyên tắc học từ phản hồi (feedback) và thưởng (reward) để tối đa hóa một hàm phần thưởng được xác định trước

Học tăng cường (reinforcement learning) hoạt động như một tín hiệu cho các hành vi tích cực và tiêu cực Mục tiêu duy nhất của nó là tìm ra một

mô hình hành động phù hợp để tăng tổng phần thưởng tích lũy của đại lý Phương pháp học tập này cho phép tác nhân đưa ra một loạt quyết định nhằm tối đa hóa chỉ số phần thưởng cho nhiệm vụ mà không cần sự can thiệp của con người hay lập trình rõ ràng để đạt được nhiệm vụ

Hình 2.2 Mối quan hệ trong học tăng cường

Các thành phần chính của học tăng cường bao gồm:

• Tác nhân (Agent): Đây là thực thể thực hiện hành động và tìm kiếm để tối ưu hóa mục tiêu

• Môi trường (Environment): Là nơi mà tác nhân thực hiện các hành động và nhận phản hồi Môi trường có thể bao gồm bất cứ điều gì mà tác nhân có thể ảnh hưởng đến và nhận phản hồi từ

• Trạng thái (State): Là biểu diễn của tất cả thông tin cần thiết để tác nhân đưa ra quyết định

• Hành động (Action): Là các hành động mà tác nhân có thể thực hiện trong mỗi trạng thái

• Phần thưởng (Reward): Là số liệu số đo giá trị của một hành động hoặc tình trạng Mục tiêu của tác nhân là tối đa hóa tổng phần thưởng nhận được qua thời gian

• Chiến lược (Policy): Là một quy tắc hoặc chiến lược quyết định cách tác nhân sẽ chọn hành động trong từng trạng thái

Trong học tăng cường, các nhà phát triển nghĩ ra một phương pháp khen thưởng các hành vi mong muốn và trừng phạt các hành vi tiêu cực Phương pháp này gán các giá trị dương cho các hành động mong muốn để khuyến khích tác nhân và các giá trị âm cho các hành vi không mong muốn Chương trình này giúp tác nhân tìm kiếm phần thưởng tổng thể dài hạn và tối

đa để đạt được một giải pháp tối ưu

Theo thời gian, tác nhân học cách tránh điều tiêu cực và tìm kiếm điều tích cực Phương pháp học này đã được áp dụng trong trí tuệ nhân tạo (AI) như một cách chỉ đạo việc học máy không giám sát thông qua phần thưởng và hình phạt

2.2.2 Markov Decision Process

2.2.2.1 Tổng quan

Quy trình quyết định Markov (MDP) đề cập đến quy trình ra quyết định ngẫu nhiên sử dụng khung toán học để mô hình hóa việc ra quyết định của một hệ thống động[24] Nó được sử dụng trong các tình huống trong đó kết quả là ngẫu nhiên hoặc được kiểm soát bởi người ra quyết định, đưa ra các quyết định tuần tự theo thời gian MDP đánh giá những hành động mà người

ra quyết định nên thực hiện khi xem xét trạng thái và môi trường hiện tại của

hệ thống

MDP dựa vào các biến số như môi trường, hành động của tác nhân và phần thưởng để quyết định hành động tối ưu tiếp theo của hệ thống Chúng được phân thành bốn loại - hữu hạn, vô hạn, liên tục hoặc rời rạc - tùy thuộc vào nhiều yếu tố khác nhau như tập hợp hành động, trạng thái sẵn có và tần suất ra quyết định

MDP đã xuất hiện từ đầu những năm 1950 Cái tên Markov đề cập đến nhà toán học người Nga Andrey Markov, người đóng vai trò then chốt trong việc hình thành các quá trình ngẫu nhiên Trong những ngày đầu thành lập, MDP được biết đến với khả năng giải quyết các vấn đề liên quan đến quản lý

và kiểm soát hàng tồn kho, tối ưu hóa hàng đợi và các vấn đề định tuyến Ngày nay, MDP tìm thấy ứng dụng trong việc nghiên cứu các vấn đề tối ưu hóa thông qua lập trình động, robot, điều khiển tự động, kinh tế, sản xuất, v.v

Trong trí tuệ nhân tạo, MDP mô hình hóa các kịch bản ra quyết định tuần tự bằng động lực xác suất Chúng được sử dụng để thiết kế các máy móc hoặc tác nhân thông minh cần hoạt động lâu hơn trong môi trường mà các hành động có thể mang lại kết quả không chắc chắn

Các mô hình MDP thường phổ biến trong hai lĩnh vực phụ của AI: lập

kế hoạch xác suất và học tăng cường (RL)

• Lập kế hoạch xác suất là nguyên tắc sử dụng các mô hình đã biết để hoàn thành các mục đích và mục tiêu của tác nhân Khi làm như vậy, nó nhấn mạnh vào việc hướng dẫn máy móc hoặc tác nhân đưa ra quyết định đồng thời cho phép chúng học cách cư xử để đạt được mục tiêu của mình

• Học tăng cường cho phép các ứng dụng học hỏi từ phản hồi mà các tác nhân nhận được từ môi trường

2.2.2.2 Nguyên lý hoạt động

Mô hình MDP hoạt động bằng cách sử dụng các yếu tố chính như tác nhân, trạng thái, hành động, phần thưởng và chính sách tối ưu Tác nhân đề cập đến một hệ thống chịu trách nhiệm đưa ra quyết định và thực hiện các hành động Nó hoạt động trong một môi trường mô tả chi tiết các trạng thái khác nhau mà tác nhân đang ở trong khi nó chuyển từ trạng thái này sang trạng thái khác MDP xác định cơ chế làm thế nào các trạng thái nhất định và hành động của tác nhân dẫn đến các trạng thái khác Hơn nữa, tác nhân nhận được phần thưởng tùy thuộc vào hành động mà nó thực hiện và trạng thái mà

nó đạt được (trạng thái hiện tại) Chính sách cho mô hình MDP cho thấy hành động tiếp theo của tác nhân tùy thuộc vào trạng thái hiện tại của nó Khung MDP có các thành phần chính sau: