Nghiên cứu bài toán tự Động nhận dạng mục tiêu ra Đa Ứng dụng mạng nơ ron học sâu

Tuy nhiên, nhận dạng mục tiêu ra đa ứng dụng trí tuệ nhân tạo là một bài toán phức tạp do một số nguyên nhân chính như sau: - Số lượng tập dữ liệu ra đa có gán nhãn cũng như số lượng mẫu

B Ộ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG

VI ỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

NGUY ỄN VĂN TRÀ

RA ĐA ỨNG DỤNG MẠNG NƠ-RON HỌC SÂU

LUẬN ÁN TIẾN SĨ KỸ THUẬT

HÀ N ỘI-2024

VI ỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

NGUY ỄN VĂN TRÀ

ĐA ỨNG DỤNG MẠNG NƠ-RON HỌC SÂU

Ngành: Kỹ thuật ra đa dẫn đường

Mã số: 9 52 02 04

LUẬN ÁN TIẾN SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 TS Vũ Chí Thanh

2 TS Đoàn Văn Sáng

HÀ N ỘI-2024

LỜI CAM ĐOAN

Tôi xin cam đoan, đây là công trình nghiên cứu của riêng tôi Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ công trình nào khác, các dữ liệu tham khảo được trích dẫn đầy đủ

Hà Nội, ngày tháng năm 2024

Tác giả luận án

Nguyễn Văn Trà

LỜI CẢM ƠN

Luận án này được thực hiện và hoàn thành tại Viện Ra đa, Viện Khoa học và Công nghệ quân sự Lời đầu tiên, NCS xin bày tỏ lòng biết ơn sâu sắc đến TS Vũ Chí Thanh và TS Đoàn Văn Sáng, những người đã hướng dẫn tận tình, giúp đỡ, động viên tôi vượt qua nhiều khó khăn trong quá trình nghiên cứu và hoàn thành luận án

Tôi xin chân thành cảm ơn Ban Giám đốc Viện KH-CNQS; Thủ trưởng và cán

bộ, nhân viên Phòng Đào tạo, Thủ trưởng và các Ban chức năng Viện Ra đa, Viện Khoa học và Công nghệ quân sự đã hướng dẫn và giúp đỡ tôi trong suốt quá trình thực hiện luận án

Xin bày tỏ lòng biết ơn tới các nhà khoa học tại Viện Khoa học Công nghệ quân

sự, Học viện Kỹ thuật Quân sự, Trường đại học Bách khoa Hà Nội, Trường đại học Công nghệ/đại học Quốc gia Hà Nội đã có những nhận xét và gợi ý vô cùng quí báu

về luận án của tôi

Cuối cùng, tôi xin trân trọng cảm ơn các bạn bè, đồng nghiệp và gia đình đã ủng

hộ, động viên và giúp đỡ tôi trong thời gian nghiên cứu và hoàn thành luận án

Hà Nội, ngày tháng năm 2024

Tác giả luận án

Nguyễn Văn Trà

MỤC LỤC

Trang DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT………….……… vi

DANH MỤC CÁC BẢNG……… ix

DANH MỤC CÁC HÌNH VẼ……… x

MỞ ĐẦU……… 1

CHƯƠNG 1 NHẬN DẠNG MỤC TIÊU RA ĐA ỨNG DỤNG TRÍ TUỆ NHÂN TẠO, THIẾT LẬP BÀI TOÁN……….……… 7

1.1 Tổng quan bài toán nhận dạng mục tiêu ra đa ……… 7

1.1.1 Giới thiệu bài toán ……….……… 7

1.1.2 Các dấu hiệu nhận dạng ……… ……….… 8

1.1.3 Các phương pháp nhận dạng mục tiêu ra đa ……… 15

1.1.4 Tập dữ liệu ra đa ……….……… 22

1.2 Tình hình nghiên cứu bài toán nâng cao chất lượng nhận dạng mục tiêu ra đa ứng dụng mạng nơ-ron học sâu ……… 28

1.2.1 Tình hình nghiên cứu ngoài nước……… 28

1.2.2 Tình hình nghiên cứu trong nước……… 35

1.3 Đề xuất hướng nghiên cứu của luận án.……… 36

1.4 Kết luận Chương 1……… 39

CHƯƠNG 2 ĐỀ XUẤT MẠNG NƠ-RON HỌC SÂU RINET VÀ GIẢI PHÁP NHÂN TRỌNG SỐ HÀM MẤT MÁT FOCAL LOSS NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG MỤC TIÊU 41

2.1 Đặt vấn đề ……… ……….…… 41

2.2 Kỹ thuật học sâu ứng dụng cho bài toán nhận dạng mục tiêu ra đa…… 41

2.2.1 Kỹ thuật học sâu……… …… 41

2.2.2 Các tiêu chuẩn so sánh, đánh giá……… 45

2.2.3 Tham số phần mềm và cấu hình phần cứng máy tính……… 48

2.3 Đề xuất mô hình mạng nơ-ron học sâu nhận dạng mục tiêu ra đa trên ảnh cự ly – tần số Doppler của tập dữ liệu RAD-DAR……… 48

2.2.1 Đề xuất cấu trúc mô hình RINet …… ……… 48

2.2.2 Đánh giá hiệu quả của cấu trúc CNN mô hình RINet.…….… 57

2.4 Đề xuất nhân trọng số hàm mất mát Focal Loss nhằm nâng cao xác suất nhận dạng đúng mục tiêu Flycam……… ………… 61

2.4.1 Hàm mất mát và phương pháp tối ưu ………… ………… 61

2.4.2 Hàm mất mát Cross Entropy……… ………… ………… 62

2.4.3 Hàm mất mát Focal Loss… ……… ………… ………… 62

2.4.4 Đề xuất nhân trọng số hàm mất mát Focal Loss… ………… 65

2.4.5 Đánh giá hiệu quả của việc nhân trọng số hàm mất mát Focal Loss 66

2.5 Kết luận Chương 2……….… 68

CHƯƠNG 3 GIẢI PHÁP LỌC NHIỄU NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG TRONG MẠNG NƠ-RON HỌC SÂU RINET……… … 70

3.1 Đặt vấn đề ……… 70

3.2 Xây dựng bộ lọc nhiễu cho mô hình mạng nơ-ron RINet……… …… 71

3.2.1 Nhiễu trong ảnh dữ liệu mục tiêu ra đa 71

3.2.2 Vị trí của bộ lọc nhiễu trong mô hình RINet 72

3.2.3 Nghiên cứu các phương pháp lọc nhiễu ……… ……… 73

3.2.4 Các phương pháp bảo tồn vùng ảnh đặc trưng của bộ lọc nhiễu…… 79

3.2.5 Đề xuất bộ lọc thích nghi tự động điều chỉnh kích thước cửa sổ lọc cho mô hình RINet … 81

3.3 Đánh giá hiệu quả của phương pháp đề xuất …….……… ……… 86

3.3.1 Ảnh đặc trưng của mạng nơ-ron trong trường hợp tín hiệu đầu vào có nhiễu và không có nhiễu … 86

3.3.2 Đánh giá hiệu quả bằng thực nghiệm ……… 87

3.4 Kết luận Chương 3… ……… 94

CHƯƠNG 4 ĐỀ XUẤT SINH ẢNH MỤC TIÊU BẰNG MẠNG SINH ĐỐI NGHỊCH GAN NHẰM NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG CỦA MẠNG NƠ-RON HỌC SÂU RINET HIỆU QUẢ TỔNG THỂ…… ……… ……….……….……

95

4.1 Đặt vấn đề ……… ……… …… 95

4.2 Phương án đề xuất ……… … 96

4.2.1 Tổng quan bài toán tăng cường dữ liệu ảnh mục tiêu ra đa … ……… 96

4.2.2 Các giải pháp tăng cường dữ liệu ảnh mục tiêu ra đa.……… 96

4.2.3 Đề xuất mô hình mạng sinh đối nghịch GAN để tăng cường dữ liệu cho cho tập dữ liệu RAD-DAR ………….……….… 100

4.3 Thử nghiệm và đánh giá kết quả ……… ………… 106

4.3.1 Các phương pháp đánh giá ……… ……… ………… 106

4.3.2 Đánh giá hiệu quả giải pháp sinh ảnh bằng mạng sinh đối nghịch GAN bằng phương pháp thực nghiệm ……… ………… .……… 106

4.4 Đánh giá hiệu quả của mô hình mạng nơ-ron RINet kết hợp với các giải pháp nâng cao chất lượng nhận dạng mục tiêu … ……… … 112

4.4.1 Tổng hợp mô hình RINet đề xuất ……… ………… 112

4.4.2 Đánh giá hiệu quả của mô hình RINet đề xuất …… ……… 114

4.5 Kết luận Chương 4 ……… ……… … 116

KẾT LUẬN ……… 118

DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ…… 120

TÀI LIỆU THAM KHẢO……… 121

DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT

θ [độ] Góc hướng chuyển động của mục tiêu

σ [m2] Diện tích phản xạ hiệu dụng mục tiêu ra đa

Pt [watt] Công suất đỉnh máy phát

Fxy Kết quả đầu ra của phép tích chập bộ lọc xy

Fconcat Kết quả đầu ra phép xếp chồng Concatnate

p [%] Phân phối xác suất thực tế

q [%] Phân phối xác suất dự báo

ft [%] Tần suất của đối tượng t

wt [%] Hệ số trọng lượng mức độ ưu tiên

X ∩ Y Giao của hai tập hợp X và Y

log(∙) Logarit tự nhiên

ADC Bộ biến đổi tương tự - số (Analog Digital Converter )

AI Trí tuệ nhân tạo (Artificial Intelligence)

ASWNF Bộ lọc nhiễu kích thước cửa sổ trượt thích nghi (Adaptive Size

Window Noise Filter) CNN Mạng nơ-ron tích chập (Convolutional Neural Network)

CRF Hợp nhất ra đa và camera (Radar Camera Fusion)

DTC Khoảng cách đến trung tâm (Distance To Center)

FFT Phép biến đổi Fourier nhanh (Fast Fourier Transform)

FMCW Điều tần tuyến tính liên tục (Frequency Modulated Continuous

Wave) GAN Mạng sinh đối nghịch (Generative Adversarial Network)

HRR Ra đa độ phân giải cao (High Resolution Radar)

MSE Lỗi trung bình bình phương (Mean Square Error)

RAD Cự ly - phương vị - tần số Doppler (Range - Azimuth - Doppler)

RAD_DAR Ra đa với máy thu đa kênh kỹ thuật số (Radar with Digital Array

Receiver) (Radar with Digital Array Receiver) RATR Tự động nhận dạng mục tiêu ra đa (Radar Automatic Target

Recognition)

RCS Diện tích phản xạ hiệu dụng ra đa (Radar Cross Section)

RD Cự ly - tần số Doppler (Range - Doppler)

ROI Những vùng ảnh quan tâm (Regions Of Interest)

SAR Ra đa tổng hợp mặt mở (Synthetic Aperture Radar)

SNR Tỷ số tín trên tạp (Signal to Noise Ratio)

STFT Phép biến đổi Fourier trong thời gian ngắn (Short-time Fourier

Transform) TTS Phần mềm bám quỹ đạo ra đa (Targets Tracker Software)

UAV Phương tiện bay không người lái (Unmanned Aerial Vehicle)

Bảng 3.2 So sánh kết quả nhận dạng với dữ liệu đầu ra bộ lọc Lee với các

kích thước cửa sổ khác nhau và bộ lọc ASWNF ……… ……… 92 Bảng 3.3 So sánh kết quả nhận dạng mục tiêu của các mô hình mạng nơ-

ron khác khi áp dụng bộ lọc nhiễu ASWNF ……….… 93 Bảng 4.1 So sánh kết quả nhận dạng mục tiêu của mô hình RINet trên các

Bảng 4.2 Kết quả nhận dạng của các mô hình mạng nơ-ron khác trên tập

Bảng 4.3 So sánh kết quả nhận dạng mục tiêu của mô hình RINet với các

DANH MỤC CÁC HÌNH VẼ

Trang

Hình 1.1 Ứng dụng học sâu cho bài toán tự động nhận dạng mục tiêu ra

đa ….….….….……… 8 Hình 1.2 Ảnh dữ liệu RA vị mục tiêu người đi xe đạp……… … 10

Hình 1.4 So sánh hai mẫu tín hiệu mục tiêu trên miền thời gian và ảnh

Hình 1.5 Đặc trưng phản xạ của các mục tiêu……… 11 Hình 1.6 Biểu diễn tín hiệu phản hồi theo thời gian và tần số của mục

Hình 1.10 Thông tin pha và độ lệch pha từ 2 chấn tử anten liên tiếp tín

hiệu phản xạ từ mục tiêu là người đi bộ……… 14 Hình 1.11 Thông tin pha và độ lệch pha từ 2 chấn tử anten liên tiếp tín

Hình 1.12 Nhận dạng mục tiêu theo phương pháp truyền thống………… 16 Hình 1.13 Một cấu trúc CNN tiêu biểu cho RATR từ ảnh mục tiêu trên

Hình 1.14 Mạng nơ-ron học sâu phát hiện và nhận dạng mục tiêu ra đa… 19 Hình 1.15 Mạng nơ-ron học sâu động nhận dạng mục tiêu trong tuyến xử

Hình 1.16 Kết quả phát hiện và nhận dạng mục tiêu của mạng nơ-ron… 20 Hình 1.17 Mạng nơ-ron học sâu nhận dạng mục tiêu ra đa……… 21 Hình 1.18 Sơ đồ khối ra đa FMCW dùng để thu thập tập dữ liệu RAD-

Hình 1.19 Quá trình tạo ảnh cự ly – tần số Doppler của ra đa FMCW…… 24 Hình 1.20 Quá trình trích chọn tạo mẫu mục tiêu cho tập RAD-DAR…… 25 Hình 1.21 Mẫu mục tiêu ra đa dạng bản đồ nhiệt ……… ……… 25 Hình 1.22 Phân bố số lượng mẫu mục tiêu trong tập dữ liệu……… 25 Hình 1.23 Ảnh dữ liệu cự ly – vận tốc Doppler mục tiêu người đi bộ … 27 Hình 1.24 Biểu diễn dữ liệu mẫu mục tiêu trên bản đồ cường độ màu

Hình 1.25 Kết quả ảnh dữ liệu ra đa sau thuật toán xử lý điều chỉnh

cường độ điểm ảnh theo tâm ảnh……… 33

Hình 1.26 Quá trình hợp nhất thông tin nhiều chu kỳ của mô hình RODNet ……… 34

Hình 1.27 Mô hình RINet luận án đề xuất và các bước so sánh, đánh giá 38

Hình 2.1 Cấu trúc tiêu biểu 1 mô hình mạng nơ-ron học sâu………… 42

Hình 2.2 Quá trình huấn luyện và kiểm tra mô hình mạng nơ-ron … 43

Hình 2.3 Ma trận so sánh cho mô hình phân loại ảnh…… ………… 45

Hình 2.4 Cấu trúc mô hình mạng nơ-ron DopplerNet và CNN-DC32… 49

Hình 2.5 Cấu trúc mô hình mạng nơ-ron IRNN……… 51

Hình 2.6 Kết quả so sánh của IRNN với các mô hình khác……… 51

Hình 2.7 Cấu trúc mô hình mạng RINet đề xuất……… 53

Hình 2.8 Phép tích chập……… 54

Hình 2.9 Sơ đồ khối kết nối tắt……… ………… 55

Hình 2.10 Quy trình đánh giá hiệu quả cấu trúc CNN của mô hình RINet 57

Hình 2.11 So sánh chất lượng của mô hình đề xuất với các mô hình khác trên cùng tập dữ liệu……… 59

Hình 2.12 Đồ thị so sánh hàm mất mát Cross Entropy và Focal Loss…… 64

Hình 2.13 Đánh giá hiệu quả của hàm mất mát Focal Loss nhân trọng số 66

Hình 3.1 Ví dụ về nhiễu trong ảnh mục tiêu ra đa ……….… 71

Hình 3.2 Một ví dụ về phát hiện và nhận dạng nhầm mục tiêu ra đa khi tỉ số tín/tạp nhỏ…….……… 71

Hình 3.3 Vị trí, vai trò của bộ lọc nhiễu trong mô hình RINet………… 72

Hình 3.4 Kết quả lọc nhiễu ảnh đầu vào của mô hình pre-trained FFDNet……… 73

Hình 3.5 Lưu đồ thuật toán bộ lọc không gian thích nghi.……… 75

Hình 3.6 Kết quả lọc nhiễu sau bộ lọc Lee… ……… 77

Hình 3.7 Kết quả lọc nhiễu sau bộ lọc Frost ….……… 78

Hình 3.8 Kết quả lọc nhiễu sau bộ lọc Kuan……… 79

Hình 3.9 Mô hình khuếch tán đa hướng lọc nhiễu trên vùng ảnh đồng nhất……… 81

Hình 3.10 Kết quả lọc nhiễu của bộ lọc RGF……… 81

Hình 3.11 Lọc nhiễu ảnh mục tiêu ra đa của bộ lọc Frost với các kích thước cửa sổ khác nhau……… 82

Hình 3.12 Giải pháp tư động điều chỉnh kích thước cửa sổ trượt bộ lọc… 82 Hình 3.13 Lưu đồ thuật toán bộ lọc ASWNF đề xuất ……… 85

Hình 3.14 So sánh ảnh đầu bộ lọc ASWNF đề xuất……… 86

Hình 3.15 So sánh các ảnh đặc trưng trích xuất từ các lớp tích chập trong trường hợp ảnh đầu vào có nhiễu và không có nhiễu ………… 87

Hình 3.16 Mô hình tổng quát thử nghiệm và đánh giá các bộ lọc nhiễu… 88

Hình 3.17 Các bước tiến hành thử nghiệm và đánh giá các bộ lọc nhiễu 89

Hình 3.18 Các bước tiến hành thử nghiệm và đánh giá bộ lọc nhiễu ASWNF……… … 91

Hình 3.19 Kết quả đánh giá quá trình huấn luyện và kiểm tra của mô hình RINet áp dụng bộ lọc nhiễu ASWNF đề xuất……… 93

Hình 4.1 Phương pháp dịch cự ly tăng cường ảnh ra đa……… 98

Hình 4.2 Phương pháp dịch phương vị tăng cường ảnh ra đa……… 98

Hình 4.3 Tạo các ảnh SAR tăng cường bằng việc cắt chọn ảnh gốc…… 99

Hình 4.4 Các ảnh dữ liệu được tạo từ quá trình thay đổi cường độ nhiễu nền……… 99

Hình 4.5 Thay đổi độ sáng ảnh để tăng cường dữ liệu……… 100

Hình 4.6 Sơ đồ tổng thể mạng GAN……… 101

Hình 4.7 Cấu trúc bộ sinh……… 102

Hình 4.8 Cấu trúc bộ phân biệt……… 103

Hình 4.9 Dữ liệu ảnh đầu ra bộ sinh sau các chu kỳ huấn luyện khác nhau……… 105

Hình 4.10 Các bước đánh giá hiệu quả của phương pháp sinh ảnh GAN 107

Hình 4.11 Biểu đồ tham số sai số huấn luyện, kiểm tra của mô hình overfitting……… 110

Hình 4.12 Biểu đồ tham số huấn luyện, kiểm tra trên tập dữ liệu RAD_DAR……… 111

Hình 4.13 Biểu đồ tham số huấn luyện, kiểm tra trên tập dữ liệu tăng cường bởi các thuật toán xử lý ảnh……… 111

Hình 4.14 Biểu đồ tham số huấn luyện, kiểm tra của mô hình RINet trên tập dữ liệu RAD_DAR tăng cường bởi mô hình RDGenGAN 111

Hình 4.15 Tổng hợp mô hình RINet luận án đề xuất ….……… 113

Hình 4.16 Kết quả huấn luyện, kiểm tra mô hình RINet áp dụng các giải pháp nâng cao chất lượng nhận dạng mục tiêu……… 114

M Ở ĐẦU

1 Tính cấp thiết của đề tài luận án

Thực tiễn các cuộc xung đột vũ trang và chiến tranh gần đây đây tại Afghanistan, Syria và giữa các quốc gia Armenia-Azerbaijan, Nga-Ukraine, Israel-Palestine, … cho thấy rằng, các bên tham chiến sử dụng đa dạng các chủng loại vũ khí đặc biệt là máy bay không người lái (UAV: Unmanned Aerial Vehicle), xuồng không người lái (USV: Unmanned Surface Vehicle) và tên lửa hành trình, bom lượn, Các loại vũ khí này ngày càng thông minh và có tính sát thương cao

Để xây dựng được phương án đối phó (chế áp, đánh chặn, …) thì việc xác định được chủng loại mục tiêu là yếu tố cần thiết để người chỉ huy ra quyết định Khi đối phương dùng hỏa lực lớn, tấn công ồ ạt, cường độ cao thì phương pháp nhận dạng xác định thủ công dựa vào kinh nghiệm và năng lực của trắc thủ là không

hiệu quả Do đó, giải pháp tự động nhận dạng mục tiêu là một yêu cầu cấp bách

Áp dụng trí tuệ nhân tạo để giải quyết bài toán nhận dạng mục tiêu ra đa là một hướng tiếp cận phù hợp với xu hướng nghiên hiện nay trong lĩnh vực xử lý tín hiệu ra đa Với sự phát triển trong lĩnh vực trí tuệ nhân tạo sẽ giúp giải quyết bài toán nhận dạng mục tiêu ra đa đạt độ chính xác cao, giảm độ phức tạp của thiết bị, giảm thời gian tính toán và tăng tính khả thi trong việc áp dụng vào các đài ra đa

thực tế [28-30] Tuy nhiên, nhận dạng mục tiêu ra đa ứng dụng trí tuệ nhân tạo là một bài toán phức tạp do một số nguyên nhân chính như sau:

- Số lượng tập dữ liệu ra đa có gán nhãn cũng như số lượng mẫu trong các tập

dữ liệu được công bố là rất hạn chế [104];

- Mỗi chủng loại ra đa có các đặc trưng dữ liệu khác nhau, không thể chia s , dùng chung tập dữ liệu [106];

- Ảnh dữ liệu ra đa mang nhiều thông tin (đặc tính chuyển động, vận tốc, tọa

độ của mục tiêu) [106], tuy nhiên dữ liệu này thường có độ phân giải thấp mức nhiễu cao khiến cho đặc trưng mục tiêu không thể hiện nổi bật như ảnh tạo ra từ camera [96], [57]

- Mô hình mạng nơ-ron nhận dạng mục tiêu ra đa ngoài yêu cầu về chỉ tiêu độ

chính xác nhận dạng cao còn phải đảm bảo có kích thước mô hình phù hợp, tương thích với phần cứng và tốc độ nhận dạng nhanh để đồng bộ với toàn tuyến xử lý tín hiệu của ra đa

Từ những lý do như vậy, luận án lựa chọn đề tài nghiên cứu “Nghiên cứu bài

toán t ự động nhận dạng mục tiêu ra đa ứng dụng mạng nơ-ron học sâu” Đây là

một vấn đề cấp thiết và có tính thời sự, ứng dụng cao Các kết quả nghiên cứu của luận án giúp nâng cao chất lượng nhận dạng mục tiêu ra đa của các mô hình mạng nơ-ron học sâu

2 M ục tiêu nghiên cứu

Mục tiêu nghiên cứu của luận án là nghiên cứu đề xuất một số giải pháp nhằm nâng cao chất lượng nhận dạng mục tiêu ra đa ứng dụng mô hình mạng nơ-ron học sâu

3 Đối tượng phạm vi nghiên cứu

Đối tượng nghiên cứu

Đối tượng nghiên cứu của luận án là các mô hình mạng nơ-ron học sâu và bài

toán tự động nhận dạng mục tiêu ra đa

Ph ạm vi nghiên cứu

- Nghiên cứu áp dụng các giải pháp nâng cao chất lượng nhận dạng mục tiêu

ra đa ứng dụng mạng nơ-ron học sâu;

- Luận án tập trung nghiên cứu nhận dạng 3 lớp mục tiêu Flycam, người đi bộ,

ô tô và sử dụng bộ dữ liệu đã có sẵn được công bố trên tạp chí có uy tín

4 Nội dung nghiên cứu

Để đạt được các mục tiêu đề ra, luận án tập trung nghiên cứu một số nội dung chính như sau:

- Nghiên cứu lý thuyết nhận dạng theo các dấu hiệu đặc trưng trong tín hiệu phản xạ về từ mục tiêu ra đa;

- Khảo sát, phân tích, đánh giá các bộ dữ liệu ra đa gán nhãn đã được công bố trên thế giới;

- Nghiên cứu, phân tích, đánh giá các mô hình học sâu và các kỹ thuật nhận dạng mục tiêu ra đa;

- Nghiên cứu các giải pháp nâng cao chất lượng nhận dạng mục tiêu của mạng nơ-ron học sâu bao gồm:

+ Xây dựng mô hình học sâu có cấu trúc mạng nơ-ron tích chập phù hợp cho bài toán nhận dạng mục tiêu kết hợp với điều chỉnh hàm mất mát trong quá trình huấn luyện;

+ Đề xuất giải pháp lọc nhiễu trong ảnh mục tiêu ra đa trước khi huấn luyện mạng nơ-ron học sâu;

+ Đề xuất mô hình mạng nơ-ron sinh ảnh làm tăng số lượng mẫu trong tập dữ liệu trước khi huấn luyện mạng nơ-ron

- Xây dựng quy trình và tiến hành thực nghiệm, kiểm chứng hiệu quả của các

giải pháp đề xuất dựa trên kết quả nhận dạng mục tiêu của các mô hình mạng ron

nơ-5 Ph ương pháp nghiên cứu

Phương pháp nghiên cứu của luận án là kết hợp nghiên cứu lý thuyết với thực nghiệm

- Về lý thuyết: Nghiên cứu tổng quan lý thuyết nhận dạng mục tiêu ra đa, các

kỹ thuật học sâu để quyết bài toán nhận dạng dạng mục tiêu dựa vào các dấu hiệu đặc trưng của mục tiêu trong tín hiệu phản xạ Nghiên cứu, khảo sát các bộ dữ liệu

ra đa chuẩn và các công trình nghiên cứu khoa học có liên quan trong và ngoài nước Nghiên cứu các kỹ thuật nhằm nâng cao hiệu năng nhận dạng mục tiêu của các mô hình mạng nơ-ron Nghiên cứu các thuật toán tăng cường dữ liệu, lọc nhiễu

dữ liệu Kết hợp giữa tính toán lý thuyết và mô phỏng bám sát theo các tham số

liệu đã được công bố trên thế giới được xây dựng lại để so sánh kết quả với mô hình

đề xuất trong luận án này

6 Ý nghĩa khoa học và thực tiễn của luận án

Việc nghiên cứu các kỹ thuật nhằm nâng cao chất lượng của mô hình mạng nơ-ron học sâu tự động nhận dạng mục tiêu ra đa của luận án có ý nghĩa trên cả hai phương diện khoa học và thực tiễn:

- Các nội dung trong luận án có thể là tài liệu tham khảo trong nghiên cứu khoa học, trong giảng dạy tại Học viện, Nhà trường, và các khóa huấn luyện chuyên ngành

7 Bố cục luận án

Trên cơ sở các nội dung nghiên cứu, luận án được trình bày gồm phần mở đầu, 4 chương chính, kết luận, danh mục công trình khoa học đã công bố, danh mục tài liệu tham khảo

Bố cục của 4 chương chính như sau:

Chương 1: Nhận dạng mục tiêu ra đa ứng dụng trí tuệ nhân tạo, thiết lập bài toán

Chương 1 giới thiệu khái quát về bài toán nhận dạng mục tiêu ra đa, các hướng nghiên cứu trong lĩnh vực này Qua đó, mô tả quá trình và định hướng nghiên cứu nâng cao chất lượng nhận dạng mục tiêu ứng dụng mạng nơ-ron học sâu phù hợp với xu thế hiện nay và thực tiễn

Chương 2: Đ xu t mạng nơ-ron học sâu RINet và giải pháp nhân trọng số

h m Focal Loss nhân tr ọng số nâng cao ch t lượng nhận dạng đ ng mục tiêu

Chương 2 của luận án xây dựng mô hình mạng nơ-ron RINet để tiến hành nhận dạng mục tiêu dựa vào dấu hiệu tần số Doppler trong ảnh mục tiêu của tập dữ liệu RAD-DAR ra đa điều tần tuyến tính liên tục Mô hình là sự kết hợp của cấu trúc kết nối tắt – song song (Residual – Inception) và sử dụng các bộ lọc một chiều Đồng thời, luận án đề xuất sử dụng hàm mất mát Focal Loss cải tiến nhân trọng số

để nâng cao xác suất nhận dạng đúng đối với mục tiêu là Flycam Quá trình tiến hành thực nghiệm huấn luyện, kiểm tra và so sánh cho thấy mô hình đề xuất cho độ chính xác nhận dạng cao hơn so với các mô hình trong các nghiên cứu trên cùng tập

dữ liệu Khi áp dụng hàm mất mát Focal Loss nhân trọng số đề xuất, mục tiêu Flycam được nhận dạng đúng với xác suất cao hơn các mục tiêu khác

C hương 3: Đ xu t giải pháp lọc nhiễu nâng cao ch t lượng nhận dạng trong m ạng nơ-ron học sâu RINet

Chương 3 của luận án đã tiến hành đánh giá tác động của nhiễu đến chất lượng nhận dạng mục tiêu ra đa của mô hình mạng nơ-ron học sâu Thông qua quá trình nghiên cứu và phân tích các giải pháp lọc nhiễu khác nhau, luận án đã đề xuất một giải pháp lọc nhiễu sử dụng bộ lọc thích nghi với kích thước cửa sổ trượt tự động thay đổi để tiến hành lọc nhiễu và nâng cao khả năng bảo tồn các đặc trưng mục tiêu trong ảnh dữ liệu Qua quá trình thực nghiệm, đánh giá kết quả trên tập dữ liệu RAD-DAR phương án đề xuất của luận án giúp tăng độ chính xác nhận dạng mục tiêu ra đa của các mô hình học sâu

Chương 4: Đ xu t sinh ảnh mục tiêu bằng mạng sinh đối nghịch GAN nhằm nâng cao ch t lượng nhận dạng của mạng nơ_ron học sâu RINet Hiệu quả của

t ổng thể

Chương 4 của luận án đã đề xuất mô hình sinh ảnh mục tiêu ra đa theo cấu trúc mạng sinh ảnh đối nghịch (GAN: Generative Adversarial Networks) để tăng cường ảnh cho tập dữ liệu RAD_DAR Kết quả thực nghiệm cho thấy độ chính xác nhận dạng mục tiêu ra đa của các mô hình mạng nơ-ron học sâu được nâng cao khi huấn luyện trên tập dữ liệu RAD_DAR tăng cường bởi mô hình sinh ảnh luận án đề

xuất Mô hình sinh ảnh đề xuất của luận án có là một giải pháp hiệu quả tăng cường ảnh mục tiêu ra đa cho các tập dữ liệu khi số lượng mẫu chưa đáp ứng Chương 4 đã xây dựng một mô hình RINet tổng quát: kết hợp cấu trúc CNN đề xuất và các giải pháp nâng cao chất lượng (cải tiến hàm mất mát, lọc nhiễu, và tăng cường dữ liệu)

và tiến hành kiểm chứng, so sánh bằng thực nghiệm kết quả nhận dạng mục tiêu với các mô hình mạng nơ-ron học sâu điển hình đã được công bố trên các tạp chí khoa học sử dụng cùng tập dữ liệu RAD-DAR Các kết quả thực nghiệm cho thấy, mô hình RINet đề xuất của luận án có độ chính xác nhận dạng mục tiêu trung bình cao nhất, xác suất nhận dạng đúng đối với lớp mục tiêu quan trọng Flycam trong tập dữ liệu RAD-DAR cũng được cải thiện đáng kể

C hương 1

NHẬN DẠNG MỤC TIÊU RA ĐA ỨNG DỤNG TRÍ TUỆ

NHÂN TẠO, THIẾT LẬP BÀI TOÁN

Chương 1 trình bày tổng quan các vấn đề về bài toán nhận dạng mục tiêu ra

đa, bao gồm: Các dấu hiệu nhận dạng mục tiêu, phương pháp nhận dạng, mô tả các tập dữ liệu và những kiến thức cơ sở liên quan Chương này cũng trình bày tổng quan về tình hình nghiên cứu bài toán nhận dạng mục tiêu ở trong nước và trên thế giới, từ đó đưa ra định hướng nghiên cứu của luận án

1.1 T ổng quan bài toán nhận dạng mục tiêu ra đa

1.1.1 Gi i thi ệu b i to n

Tự động nhận dạng mục tiêu ra đa (RATR: Radar automatic target recognition) là bài toán xác định kiểu loại của mục tiêu dựa trên những dấu hiệu đặc trưng được trích xuất từ tín hiệu phản xạ ra đa của mục tiêu [22] Thông tin từ hệ thống RATR đóng vai trò quan trọng trong việc tự động hóa chỉ huy, giúp nâng cao

khả năng tấn công, phòng thủ, khả năng cảnh báo sớm Tính năng này sẽ trở thành một chức năng tất yếu và không thể thiếu trong các hệ thống ra đa thế hệ tiếp theo [86] Hiện nay, với sự phát triển của các thuật toán mới trong lĩnh vực thị giác máy tính và công nghệ phần cứng đặc biệt là sự ra đời của các thế hệ chíp xử lý và card

đồ họa thế hệ mới, việc áp dụng trí tuệ nhân tạo để xử lý bài toán nhận dạng mục tiêu ra đa đã đạt được nhiều kết quả quan trọng Trong đó, Các thuật toán học sâu

nhận được rất nhiều sự quan tâm và đã nổi lên như những giải pháp tiềm năng và khả thi trong RATR [11], [15], [31], [41], [47], [56], [58], [82], [89], [92], [101],

[102], [103], [105].

Hình 1.1 mô tả tổng quan bài toán tự động nhận dạng mục tiêu ra đa ứng dụng

mô hình mạng nơ-ron học sâu Dấu hiệu đặc trưng của mục tiêu trong tín hiệu phản

xạ về của ra đa có thể ở dạng dữ liệu thô, chân dung ảnh cự ly (các ra đa có độ phân

giải cao về cự ly), ảnh cự ly - phương vị - tần số Doppler hoặc ảnh mục tiêu ra đa tổng hợp mặt mở (SAR: synthetic aperture radar) Các ảnh mục tiêu được chuyển đến mạng nơ-ron học sâu để tiến hành nhận dạng Cấu trúc tiêu biểu của mô hình mạng nơ-ron học sâu bao gồm: lớp đầu vào, lớp trích xuất đặc trưng và lớp phân

loại đầu ra RATR được sử dụng trong các bài toán nhận dạng mục tiêu trên không, trên biển, mặt đất, nhận dạng hành vi của con người hoặc trong ứng dụng xe tự lái

Hình 1.1 Ứng dụng học sâu cho bài toán tự động nhận dạng mục tiêu ra đa

Mỗi loại mục tiêu khác nhau thì tín hiệu phản xạ về từ chúng sẽ có những tham số đặc trưng khác nhau Sự khác biệt này có thể là năng lượng, thời gian, phổ

(tần số), không gian, cực tính và đặc tính quỹ đạo của mục tiêu [2].Hiện nay, các nhà nghiên cứu tập trung vào 3 dấu hiệu đặc trưng cơ bản trong tín hiệu phản xạ về

từ mục tiêu ra đa làm cơ sở nhận dạng [95] Cụ thể, ba dấu hiệu đặc trưng đó là:

- Đặc trưng diện tích phản xạ hiệu dụng ra đa [46], [56], [92], [101], [105];

- Đặc trưng chuyển động của mục tiêu thể hiện qua tham số tần số Doppler và micro-Doppler [14], [42], [47], [70], [78], [82], [103];

- Đặc trưng về pha và đặc tính phân cực tín hiệu phản xạ về từ mục tiêu [11], [16], [41], [58]

1.1.2.1 Nh ận dạng theo đặc trưng diện tích phản xạ hiệu dụng ra đa

Diện tích phản xạ hiệu dụng ra đa (RCS: Radar Cross Section) được định nghĩa là diện tích bức xạ tương đương, phản xạ tất cả năng lượng truyền đến nó và tạo nên tại điểm thu mật độ dòng công suất như đối với mục tiêu thực [2] RCS

được mô tả khái quát như ở công thức (1.1), trong đó R là cự ly giữa ra đa và mục tiêu, Es là độ lớn trường tán xạ điện từ tại ra đa, Ei là độ lớn trường chiếu xạ điện từ

tại mục tiêu

2 2 2

R

i

E R E



→

= (1.1) Thông tin về diện tích phản xạ hiệu dụng của mục tiêu ra đa FMCW thể hiện ở dạng ảnh cự ly – phương vị (RA: Range – Azimuth) như mô tả trên Hình 1.2 [98], đặc tính xung, ảnh sau phép biến đổi Fourier ngắn trên miền thời gian (STFT: Short-time Fourier Transform) hoặc ảnh sau ph p biến đổi Wavelet Với ra đa có độ phân giải cao về cự ly, sự khác nhau về đặc trưng diện tích phản xạ hiệu dụng được thể hiện trong đặc tính xung như mô tả trên Hình 1.3 [92] Trong một số trường hợp, đặc tính xung của các mục tiêu khác nhau lại không có sự khác biệt lớn như ví

dụ trong hình Hình 1.4 a và b Để khắc phục hiện tượng này, ph p biến đổi STFT như ở công thức (1.2) đã được áp dụng Ảnh dữ liệu đầu ra sau ph p biến đổi STFT của 2 mục tiêu đã có sự khác biệt lớn làm cơ sở để nhận dạng 2 loại mục tiêu này

STFT   +x t  t  e− dt

−

Trong đó, x(t) là tín hiệu cần được biến đổi, ω(t) là hàm cửa sổ

Hình 1.2 Ảnh dữ liệu RA vị mục tiêu người đi xe đạp ra đa FMCW [98]

Hình 1.3 Đặc tính xung của mục tiêu: (a) tàu đánh cá, (b) giàn khoan dầu [92]

Hình 1.4 Sự so sánh hai mẫu tín hiệu mục tiêu trên miền thời gian và ảnh phổ sau

phép biến đổi STFT (a), (c): An-26 (b), (d): Cessna Citation

Các ảnh trong Hình 1.6 mô tả kết quả của phép biến đổi Wavelet các tín hiệu phản xạ từ hình trụ, đĩa tròn, cầu và hình nón cụt theo thời gian về ra đa Tập dữ liệu các mục tiêu này được xây dựng bằng phần mềm Matlab với tham số: tần số sóng mang của ra đa là 10Ghz, mục tiêu trụ có chiều cao là 1m bán kính là 1m, mục tiêu đĩa tròn và cầu có bán kính là 1m Mục tiêu hình nón cụt có bán kính mặt nhỏ là 0.01m, bán kính mặt trên là 1m, chiều cao là 10m Đặc trưng phản xạ của các mục tiêu này được thể hiện trên Hình 1.5 Sự khác nhau về hình dáng của các mục tiêu

được thể hiện r trong ảnh sau ph p biến đổi Wavelet ở công thức (1.3)

Trong đó, Ψ[(t−b) / ]a là hàm cửa sổ Wavelet, b là độ dịch chuyển thời gian, a

là độ giãn nở thời gian

Như vậy, dấu hiệu đặc trưng diện tích phản xạ hiệu dụng của các mục tiêu ra

đa được thể hiện r trong ảnh RA, đặc tính xung biên độ hay các ảnh của phép biến đổi STFT và Wavelet Sự khác nhau trong các ảnh đặc trưng của các mục tiêu khác nhau là cơ sở để mạng nơ-ron học sâu tiến hành nhận dạng

Hình 1.5 Đặc trưng phản xạ của các mục tiêu

Hình 1.6 Biểu diễn tín hiệu phản hồi theo thời gian và tần số của mục tiêu: a) hình

trụ, b) đĩa tròn, c) cầu, và d) hình nón cụt

1.1.2.2 Nh ận dạng theo đặc trưng chuyển động của mục tiêu

Với những mục tiêu có diện tích hiệu dụng nhỏ như UAV, nếu chỉ dựa vào dấu hiệu RCS để tiến hành nhận dạng thì kết quả đầu ra là không tin cậy do hạn chế

về độ nhạy máy thu [78] Bên cạnh đó, dấu hiệu RCS của mục tiêu này rất giống với đặc trưng của các mục tiêu bay nhỏ khác ví dụ như chim nên hiệu quả nhận dạng mục tiêu UAV trong trường hợp này là không cao Trong trường hợp này, đặc trưng chuyển động của mục tiêu thể hiện qua tham số Doppler và micro-Doppler sẽ được

sử dụng để nhận dạng thay cho đặc trưng RCS.Khi mục tiêu di chuyển, tần số mang trong tín hiệu phản xạ về ra đa từ mục tiêu đó sẽ bị dịch đi một đại lượng Độ dịch tần này được gọi là tần số Doppler và có mối liên hệ với vận tốc di chuyển và bước sóng tín hiệu phát của ra đa được thể hiển qua công thức (1.4) Trong khi tần số Doppler đại diện cho sự chuyển động của toàn bộ mục tiêu thì tần số micro-Doppler tập trung vào sự thay đổi tần số của sóng mang phản xạ về khi các phần tử trong

mục tiêu (như con người, xe đạp, máy bay) chuyển động riêng biệt Vì vậy, dấu hiệu tần số micro-Doppler được sử dụng trong ra đa để nhận dạng mục tiêu

2 cos( )v



= (1.4)

Trong đó: ƒ là tần số Doppler, v là vận tốc của mục tiêu, là góc của hướng

chuyển động và búp sóng chính, là bước sóng của tín hiệu phát

Đặc trưng chuyển động của mục tiêu ra đa thể hiện trong các thành phần tần số Doppler tín hiệu phản xạ Với máy bay trực thăng, chuyển động của cánh quạt sẽ hình thành các vạch phổ phụ bên cạnh vạch phổ chính tạo ra bởi tốc độ di chuyển mục tiêu Với mục tiêu người đi bộ, chuyển động của chân, cánh tay, đầu là các chuyển động thành phần tạo ra các độ dịch tần số Doppler bổ sung, được gọi là tần

số micro-Doppler Đặc trưng chuyển động của mục tiêu thể hiện trong ảnh cự ly -

tần số Doppler (RD: Range - Doppler) như mô tả trên Hình 1.7 [98] Trong đó, tốc

độ di chuyển của mục tiêu được thể hiện qua vị trí của vùng sáng trên trục vận tốc Doppler Số lượng, cường độ và vị trí các điểm ảnh xung quanh vùng ảnh chính là các thành phần tần số micro-Doppler thể hiện đặc điểm các chuyển động thành phần của mục tiêu [82] Ngoài dạng ảnh RD, đặc trưng chuyển động của mục tiêu trong tín hiệu phản xạ về từ mục tiêu qua biến đổi STFT có thể được sử dụng là thông tin

đầu vào để mạng nơ-ron tiến hành nhận dạng [27], [98] Hình 1.8 [98] là kết quả phân tích dấu hiệu độ dịch tần số micro-Doppler qua phép biến đổi STFT tín hiệu

phản xạ về từ 3 mục tiêu người đi xe đạp (Hình 1.8 a), người đi bộ (Hình 1.8 b), xe

ô tô (Hình 1.8 c) Dấu hiệu micro-Doppler qua ph p biến đổi STFT cũng được sử dụng làm cơ sở nhận dạng trong nghiên cứu [7] và [78] Hình 1.9 là một ví dụ về các thành phần tần số micro-Doppler khác nhau trong tín hiệu phản xạ từ 3 loại mục tiêu bay: máy bay cánh bằng, UAV và trực thăng qua ph p biến đổi STFT [7] Như vây, các thành phần tần số Doppler, micro-Doppler trong ảnh RD hay ảnh qua ph p biến đổi STFT là đặc trưng được sử dụng cho bài toán nhận dạng các mục tiêu có

dấu vết nhỏ ứng dụng mạng nơ-ron học sâu

Hình 1.7 Ảnh cự ly – vận tốc Doppler mục tiêu người đi bộ ra đa FMCW [98]

Hình 1.8 Phân tích độ dịch tần số micro-Doppler qua phép biến đổi STFT [98]

Hình 1.9 Dấu hiệu micro-Doppler của mục tiêu (a): máy bay cánh bằng, (b): Drone,

(c): Trực thăng

1.1.2.3 Nh ận dạng theo đặc trưng pha và đặc tính phân cực

Trong một số trường hợp, đặc trưng về diện tích phản xạ hiệu dụng của các

mục tiêu là tương đồng trong ảnh RA nhưng được thể hiện r n t trong đặc trưng pha và đặc tính phân cực [41], [58]

Hình 1.10 Thông tin pha và độ lệch pha từ 2 chấn tử anten liên tiếp tín hiệu phản xạ

từ mục tiêu là người đi bộ [58]

Hình 1.11 Thông tin pha và độ lệch pha từ 2 chấn tử anten liên tiếp tín hiệu phản xạ

từ mục tiêu là phương tiện cơ giới [58]

Sự phân cực của sóng phát và sóng phản xạ khác nhau Trong trường hợp tổng quát, sự phân cực của tín hiệu phản xạ bị thay đổi là do sự khác nhau về biên độ và

độ dịch pha của các tín hiệu phản xạ từ những phần tử riêng biệt cấu trúc nên mục tiêu Thông thường, sóng phản xạ từ mục tiêu phức tạp có phân cực Elíp, không phụ thuộc vào sự phân cực của sóng phát Để dễ dàng xác định những thông tin về về hình dạng mục tiêu, người ta thường tách tín hiệu phản xạ thành hai phân cực khác nhau (phân cực đứng và phân cực ngang) và thiết lập nên ma trận phân cực đặc trưng cho sự phụ thuộc của RCS vào sự phân cực của sóng chiếu xạ Ma trận phân cực được biểu diễn theo công thức (1.5) [2]

tử anten liên tiếp tín hiệu phản xạ từ mục tiêu là người đi bộ và xe ô tô Sự khác biệt này được các tác giả trong nghiên cứu [58] sử dụng làm cơ sở để tiến hành phân loại hai mục tiêu này

1.1.3 C c phương ph p nhận dạng mục tiêu ra đa

Bản chất của nhận dạng mục tiêu là quá trình tìm ra quy luật để gán tên cho đối tượng để xếp đối tượng vào một lớp [5] Đặc trưng trích xuất từ dữ liệu mục tiêu đầu vào là cơ sở để tìm ra quy luật để gán tên đối tượng Tùy theo cách thức trích xuất đặc trưng, RATR có thể được chia thành hai phương pháp: phương pháp truyền thống và phương pháp học sâu

1.1.3.1 Nh ận dạng mục tiêu ra đa bằng phương pháp truyền thống

Sơ đồ chức năng hệ thống RATR theo phương pháp truyền thống được thể hiện trên Hình 1.12 [2]

Đối tượng nhận dạng là tín hiệu phản xạ về từ các mục tiêu ra đa Bộ phận cảm biến có nhiệm vụ phân tích các đối tượng và tiếp nhận những thông tin sơ cấp

Bộ xác định tham số có chức năng biểu thị các đặc trưng vật lý cụ thể các dấu hiệu

của đối tượng dưới dạng tín hiệu điện Thiết bị so sánh để xác định phân bố xác suất trùng hợp giữa mô tả đối tượng đang phân tích so với các lớp mẫu mục tiêu trong

khối nhớ các mẫu Tại đây, thực hiện việc tính toán về tính tương đồng của các tham số giữa mẫu dữ liệu mục tiêu hiện tại và các mẫu mục tiêu trong khỗi nhớ các

mẫu Mẫu mục tiêu nào cho giá trị về độ trùng khớp lớn nhất sẽ được quyết định là kiểu loại mục tiêu

Hình 1.12 Nhận dạng mục tiêu theo phương pháp truyền thống [2]

Để so sánh độ trùng khớp của hai mẫu dữ liệu, có hai tham số thường được sử dụng để tính toán là: tham số khoảng cách Euclidean và tương quan ch o

- Khoảng cách Euclidean được biểu diễn thông qua công thức (1.6)

2

1 (x y )

N

i i i

D= = − (1.6) Trong đó xi, yi là các thành phần tọa độ của hai đối tượng cần so sánh x và y Hai đối tượng có tính tương đồng với nhau càng cao thì khoảng cách Euclidean có giá trị càng nhỏ

- Tương quan ch o của hai đối tượng được tính toán theo công thức (1.7)

Khối nhớ các mẫu dùng để lưu giữ các chương trình, các mô tả những lớp đặc trưng của từng kiểu loại đối tượng chuẩn Dữ liệu ghi lưu trong khối nhớ mẫu là

những tham số đặc trưng nhất của từng kiểu loại mục tiêu Khối điều khiển có chức năng đồng bộ quá trình thực thi các mô đun theo thời gian, quét chọn các mẫu mục tiêu trong khối nhớ mẫu để tiến hành so sánh và thực hiện cập nhật mẫu dữ liệu mục tiêu mới vào khối nhớ các mẫu

Nhận dạng mục tiêu bằng phương pháp truyền thống được tiến hành thông qua hai bước:

- Bước 1: Thu thập/ghi lưu thư viện mẫu dữ liệu mục tiêu Các mẫu mục tiêu quan trọng sẽ được trắc thủ lựa chọn và tiến hành ghi lưu trong quá trình hoạt động

của đài ra đa

- Bước 2: Nhận dạng mục tiêu thông qua sự so khớp mẫu dữ liệu mục tiêu với thư viện mẫu để xác định chủng loại mục tiêu dựa trên mức độ tương đồng với các mẫu trong thư viện

Các giải pháp xác định tham số đặc trưng hiện tại sử dụng các thuật toán như

mẫu địa phương (local ternery pattern) [100] hoặc biểu đồ tần xuất đạo hàm (histogram of gradient) [20] để thu thập các đặc trưng của mục tiêu sau khi đã loại

bỏ nhiễu Các kỹ thuật này được sử dụng rất nhiều trong bài toán nhận diện khuôn mặt nhưng khi áp dụng cho bài toán nhận dạng mục tiêu ra đa thì xuất hiện nhiều hạn chế do yếu tố nhiễu cao của ảnh ra đa ảnh hưởng đến độ biến thiên (gradient) và điểm ảnh mục tiêu không rõ ràng do công suất tín hiệu phản xạ từ mục tiêu nhỏ Để

khắc phục hạn chế này, một số ra đa mới sử dụng đặc trưng biểu đồ tần suất bão hòa địa phương (local saturated histogram) để tiến hành phân loại

Với phương pháp nhận dạng mục tiêu truyền thống, bộ trích xuất đặc trưng trong mô hình RATR được thiết kế thủ công để chuyển đổi dữ liệu thô đầu vào thành các dấu hiệu nhận dạng Phân tích lựa chọn dấu hiệu nhận dạng và số lượng dấu hiệu cần thiết sao cho đảm bảo đủ tin cậy, đáp ứng nhu cầu thực tiễn, dễ đo đạc

và khả năng thực hiện của các thiết bị sau đó [56] Chất lượng các đặc trưng trích

xuất theo phương pháp này phụ thuộc và các thuật toán sử dụng trong mô đun xác định tham số như trong Hình 1.12 Các thuật toán này là rất phức tạp và được xây dựng tùy thuộc vào dấu hiệu đặc trưng cần trích xuất trong tín hiệu phản xạ về từ mục tiêu [5]

1.1.3.2 Nh ận dạng mục tiêu ra đa ứng dụng mạng nơ-ron học sâu

Trong những năm gần đây, nhiều kiến trúc đã được xây dựng cho RATR để chúng có thể tự động trích xuất đặc trưng trong dữ liệu đầu vào thay cho phương pháp thủ công [82] Với sự phát triển mạnh mẽ của các thuật toán học sâu (DL: Deep Learning) và công nghệ sản xuất chip điện tử tạo điều kiện giải quyết các bài toán phức tạp mà trước đây không thể giải quyết được bằng các phương pháp truyền thống

Hình 1.13 Một cấu trúc CNN tiêu biểu cho RATR từ ảnh mục tiêu trên miền thời

gian – tần số [48]

Kết quả của nhiều công trình nghiên cứu trên thế giới công bố gần đây cho thấy sự hiệu quả cao trong việc ứng dụng DL giải quyết bài toán tự động nhận dạng mục tiêu ra đa Cấu trúc mạng nơ-ron tích chập (CNN: Convolutional Neural Network) trong mô hình DL giúp nâng cao khả năng trích xuất đặc trưng dựa vào sự cải thiện khả năng khái quát hóa của mạng nơ-ron, tính năng khai thác mối quan hệ liên kết ngữ cảnh của thông tin tuần tự và hiện thực hóa sự liên kết và chuyển giao các tính năng đa phương thức [48]

Dựa vào chức năng của mô hình mạng nơ-ron học sâu trong tuyến xử lý tín hiệu ra đa, có thể chia thành hai mức độ áp dụng học sâu cho bài toán tự động nhận dạng mục tiêu ra đa trong thực tế

- Thứ nhất, mạng nơ-ron học sâu đảm nhiệm chức năng phát hiện và nhận dạng mục tiêu [15], [41], [95], [96], [106];

- Thứ hai, mạng nơ-ron học sâu chỉ đảm nhiệm chức nhận dạng mục tiêu [13], [38], [76], [104]

M ạng nơ-ron đảm nhận chức năng phát hi n và nhận dạng

Trong trường hợp này, mạng nơ-ron học sâu sẽ đảm nhận cả chức năng phát

hiện và nhận dạng mục tiêu Sơ đồ chức năng tổng quát của ra đa như mô tả trên Hình 1.14

Hình 1.14 Mạng nơ-ron học sâu phát hiện và nhận dạng mục tiêu ra đa

Hình 1.15 Mạng nơ-ron học sâu động nhận dạng mục tiêu trong tuyến xử lý tín hiệu

ra đa FMCW

Đầu ra của mô đun tiền xử lý tín hiệu là các ảnh RD, RA, RAD của ra đa trong

cả vòng quét Ảnh dữ liệu này chuyển trực tiếp tới mạng nơ-ron để thực hiện bài toán phát hiện và nhận dạng Luồng xử lý phát hiện và nhận dạng của mạng nơ-ron

học sâu trong tuyến xử lý tín hiệu ra đa là nối tiếp Vì vậy, mạng nơ-ron phải có tốc

độ tính toán cao để đáp ứng yêu cầu đồng bộ về mặt thời gian với toàn bộ tuyến xử

lý tín hiệu của ra đa Với các ra đa cảnh giới tầm trung và tầm xa, số lượng mục tiêu

ra đa đồng thời phát hiện và bám bắt trong vùng phát hiện là rất lớn thì giải pháp mạng nơ-ron đảm nhiệm chức năng phát hiện và nhận dạng đồng thời là không phù hợp

Phương pháp này áp dụng phù hợp cho các ra đa tầm gần trong các ứng dụng

xe tự lái [15], [95], [106] Các ra đa này có cự ly quan sát gần, số lượng mục tiêu trong phạm vi quan sát là nhỏ Một ví dụ cụ thể cho tuyến xử lý tín hiệu ra đa FMCW ứng dụng mô hình mạng nơ-ron học sâu tự động phát hiện và nhận dạng

mục tiêu được mô tả trên Hình 1.15 Tín hiệu đầu ra mô đun tiền xử lý tín hiệu là các ảnh dữ liệu ra đa trong 1 vòng qu t Dữ liệu này có thể ở dạng 2D RA, RD hoặc

ở dạng 3D RAD Mô hình mạng nơ-ron học sâu sẽ nhận các ảnh này và tiến hành các bước xử lý: trích xuất đặc trưng, phát hiện và nhận dạng mục tiêu Thông tin mục tiêu sau khi phát hiện và nhận dạng được chuyển đến phần mềm giao diện người máy (HMI: Human Machine Interface) để hiển thị Hình 1.16 b mô tả kết quả

phát hiện và nhận dạng mục tiêu của mô hình mạng nơ-ron học sâu hiển thị trên máy tính HMI với dữ liệu đầu vào là ảnh RAD (Hình 1.16 a) Trên hình 1.16 b, thông tin vị trí và kiểu loại mục tiêu ra đa được mô tả bởi các ô hình chữ nhật có gán tên mục tiêu

Hình 1.16 Kết quả phát hiện và nhận dạng mục tiêu của mạng nơ-ron (a) dữ liệu đầu vào, (b) kết quả phát hiện, nhận dạng hiển thị trên máy tính HMI

M ạng nơ-ron ch đảm nhận chức năng nhận dạng

Sơ đồ chức năng của ra đa sử dụng mạng nơ-ron học sâu chỉ đảm nhận nhận dạng mục tiêu được thể hiện ở Hình 1.17

Hình 1.17 Mạng nơ-ron học sâu nhận dạng mục tiêu ra đa

Khác với sơ đồ chức năng trên Hình 1.14, nhiệm vụ phát hiện mục tiêu ra đa được thực hiện tại mô đun xử lý phát hiện và bám quỹ đạo Tại mô đun này, các thuật toán xử lý tín hiệu ra đa, phát hiện và bám sát quỹ đạo Mạng nơ-ron trong sơ

đồ 1.17 chỉ đảm nhận chức năng nhận dạng mục tiêu Thông tin mục tiêu nhận dạng được lựa chọn thủ công thông qua thao tác của trắc thủ ra đa trên màn hình HMI hoặc được lựa chọn tự động Khi nhận được thông tin mục tiêu cần nhận dạng, mô đun chọn mục tiêu nhận dạng sẽ cắt chọn vùng của mục tiêu trong toàn bộ trường

dữ liệu ra đa Ảnh mục tiêu trích chọn được chuyển tiếp đến mạng nơ-ron học sâu

để tiến hành nhận dạng Thông tin kiểu loại mục tiêu đầu ra của mạng nơ-ron được hợp nhất với các thông tin khác được xác định từ tuyến xử lý phát hiện tại mô đun tích hợp thông tin Toàn bộ thông tin mục tiêu hợp nhất bao gồm: tọa độ, vận tốc, hướng di chuyển, chất lượng và kiểu loại mục tiêu được chuyển tiếp và hiển thị trên HMI

Trong trường hợp này, tuyến xử lý phát hiện ra đa và tuyến xử lý nhận dạng mục tiêu của mạng nơ-ron là song song Trong đó, tuyến xử lý phát hiện phải có tốc

độ tính toán cao Tuyến xử lý nhận dạng là hệ thống xử lý trễ, không yêu cầu đồng

bộ thời gian với tuyến xử lý phát hiện Việc mạng nơ-ron không phải đảm nhiệm bài toán phát hiện sẽ làm giảm kích thước của mô hình, giảm khối lượng tính toán làm tăng tốc độ tính toán Như vậy, mạng nơ-ron chỉ đảm nhiệm chức năng nhận dạng mục tiêu là phù hợp và có tính khả thi cao cho việc áp dụng vào thực tế các ra

đa cảnh giới với tính năng phát hiện, bám bắt đồng thời nhiều mục tiêu

Do đó, phần tiếp theo của luận án sẽ lựa chọn hướng tiếp cận mạng nơ-ron học sâu chỉ đảm nhận chức năng nhận dạng mục tiêu

1.1.4 T ập d liệu ra đa

1.1.4.1 M ột số tập d liệu ra đa gán nh n đư c công bố

Tập dữ liệu gán nhãn có vai trò rất quan trọng, ảnh hưởng đến chất lượng nhận dạng mục tiêu dựa trên nền tảng học sâu [106] Hiện nay, một số tập dữ liệu ra đa gán nhãn phục vụ cho bài toán RATR đã được công bố trên thế giới [106], [38], [96] Đây là cơ sở để thúc đẩy các nghiên cứu ứng dụng các mô hình mạng nơ-ron học sâu giải quyết bài toán nhận dạng mục tiêu [96]

Bảng 1.1 là kết quả tổng hợp các tập dữ liệu ra đa gán nhãn được công bố trên

thế giới Trong đó, các tập dữ liệu chủ yếu được xây dựng từ ra đa FMCW cự ly nhỏ trang bị trên hệ thống hỗ trợ lái tự động (ADAS: Advanced Driver Assistance Systems) trên các xe ô tô [61], [68], [84], [106] Các tập dữ liệu này được sử dụng cho các mạng nơ-ron học sâu đảm nhiệm cả chức năng phát hiện và nhận dạng mục tiêu Mỗi mẫu dữ liệu là tín hiệu phản xạ trong toàn bộ phạm vi quan sát của ra đa Các tập dữ liệu ảnh SAR [36], [55] thường ứng dụng trong bài toán phát hiện và

nhận dạng mục tiêu từ các thiết bị không gian Tập dữ liệu của ra đa máy thu số đa kênh (RAD-DAR: Radar with Digital Array Receiver) [38] là tập hợp các mẫu mục tiêu ra đa trên miền cự ly – tần số Doppler được trích xuất từ ra đa điều tần tuyến tính liên tục (FMCW: Frequency Modulated Continuous Wave) cự ly hoạt động đến

3 km Ba loại mục tiêu gán nhãn trong tập RAD-DAR là: ô tô, người đi bộ, Flycam Tập dữ liệu này của ra đa quân sự phát tín hiệu điều tần tuyến tính liên tục, băng tần

X Các mẫu mục tiêu trong tập dữ liệu được áp dụng cho bài toán mạng nơ-ron chỉ thực hiện nhiệm vụ nhận dạng Vì vậy, tập dữ liệu RAD-DAR phù hợp cho hướng

nghiên cứu của luận án Phần tiếp theo của luận án sẽ tiến hành phân tích đánh giá tập dữ liệu này

Bảng 1.1 Các tập dữ liệu ra đa gán nhãn dùng cho bài toán nhận dạng mục tiêu

Tên t ập dữ li u Năm công bố Dạng dữ li u Bài toán áp d ụng

1.1.4.2 T ập d liệu RAD-DAR [13]

Tập dữ liệu này được thu thập bởi hệ thống ra đa phát tín hiệu FMCW băng X

có tần số phát trung tâm 8.75 GHz, độ di tần 500 MHz, công suất phát tín hiệu liên tục là 5W Sơ đồ khối của ra đa như mô tả trên Hình 1.18 Ra đa này bao gồm 1

phần tử anten phát và 8 phần tử anten thu, mỗi phần tử anten bao gồm 8 chấn tử anten

2

IF

cf r S

  - là độ dịch pha tín hiệu của 2 Chirp liên tiếp

Theo nguyên lý làm việc của ra đa FMCW, cự ly mục tiêu phụ thuộc giá trị tần số trung tần đầu ra bộ lọc thông thấp và được tính theo công thức 1.8 Phép biến đổi FFT sẽ được áp dụng trên tín hiệu phản xạ về trong một Chirp để xác định cự ly Giá trị tần số Doppler được tính dựa vào độ dịch pha giữa hai Chirp liên tiếp nhau

thông qua công thức 1.9 Phép biến đổi FFT thứ hai được thực hiện với dữ liệu vào

là các ô cự ly trên các Chirp liên tiếp nhau để xác định tần số Doppler này Trên hình 1.19 mô tả quá trình tạo ra ảnh dữ liệu cự ly – vận tốc Doppler của ra đa FMCW

Hình 1.18 Sơ đồ khối ra đa FMCW dùng để thu thập tập dữ liệu RAD-DAR

Hình 1.19 Quá trình tạo ảnh cự ly – vận tốc Doppler của ra đa FMCW

Dữ liệu mục tiêu trong tập RAD-DAR được thu thập ở những khu vực và điều

kiện thời tiết khác nhau Hình 1.20 biểu diễn quá trình các mẫu dữ liệu mục tiêu được tạo ra và gán nhãn theo phương pháp thủ công Khi trắc thủ lựa chọn mục tiêu

để ghi lưu, vùng ảnh mục tiêu trên miền cự ly – tần số Doppler sẽ được cắt chọn theo thông tin tọa độ của mục tiêu từ dữ liệu ra đa trong toàn bộ trường quan sát Tập hợp các mẫu dữ liệu trích chọn từ quá trình trên được sắp xếp lại và gán nhãn

để tạo thành tập RAD-DAR

Hình 1.20 Quá trình trích chọn tạo mẫu mục tiêu cho tập RAD-DAR

Hình 1.21 Mẫu mục tiêu ra đa dạng bản đồ nhiệt (a) 2D, (b)3D

Hình 1.22 Phân bố số lượng mẫu mục tiêu trong tập dữ liệu

Tập dữ liệu này bao gồm 17.485 ảnh dữ liệu trên miền cự ly - tần số Doppler

được gán nhãn tương ứng 3 loại mục tiêu: người đi bộ, ô tô và Flycam Dữ liệu mẫu mỗi mục tiêu được lưu ở một file có định dạng csv có kích thước 11 x 61 điểm ảnh (11 điểm ảnh trên trục cự ly, 61 điểm ảnh trên trục tần số Doppler) Hình 1.19 là ví

dụ mô tả 1 mẫu mục tiêu của tập dữ liệu RAD-DAR Hình 1.21 a và b là biểu diễn mục tiêu ở dạng ảnh 2D và 3D Tập dữ liệu RAD-DAR có 6700 mẫu mục tiêu người đi bộ, 5720 mẫu mục tiêu ô tô và 5065 mẫu mục tiêu Flycam tương ứng với

tỷ lệ phần trăm là 38,32%, 32,71% và 28,97% như mô tả trên Hình 1.22 Mục tiêu Flycam DJI Phantom 4 được sử dụng để xây dựng tập dữ liệu RAD-DAR có tham

những tín hiệu ở chính giữa trục dọc chính giữa tương ứng với vận tốc Doppler bằng không Số lượng và vị trí các điểm ảnh mục tiêu theo trục tần số Doppler thể hiện số lượng và vận tốc các chuyển động thành phần của mục tiêu Đây chính là các thành phần tần số micro-Doppler Kích thước mục tiêu càng lớn thì số lượng điểm ảnh mục tiêu theo trục cự ly của ảnh RD càng nhiều Cường độ các điểm sáng