Luận văn thạc sĩ Kỹ thuật viễn thông: Nhận diện hành động sử dụng hệ thống radar FMCW và mô hình học sâu

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

NGUYỄN CHÁNH TRỰC

NHẬN DIỆN HÀNH ĐỘNG SỬ DỤNG HỆ THỐNG RADAR FMCW VÀ MÔ HÌNH HỌC SÂU

Chuyên ngành : Kỹ Thuật Viễn Thông Mã số: 8520208

LUẬN VĂN THẠC SĨ

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học 1: TS Trịnh Xuân Dũng Cán bộ hướng dẫn khoa học 2: TS Võ Tuấn Kiệt Cán bộ chấm nhận xét 1 : TS Huỳnh Phú Minh Cường

Cán bộ chấm nhận xét 2 : TS Huỳnh Thế Thiện

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 6 tháng 7 năm 2023

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

1 GS.TS Lê Tiến Thường (Chủ tịch hội đồng) 2 TS Nguyễn Đình Long (Thư Ký)

3 TS Huỳnh Phú Minh Cường (Phản biện 1) 4 TS Huỳnh Thế Thiện (Phản biện 2) 5 PGS.TS Đỗ Hồng Tuấn (Ủy viên)

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

I TÊN ĐỀ TÀI: Nhận diện hành động sử dụng hệ thống Radar FMCW và mô hình học sâu

Tên Tiếng Anh: Dynamic Gesture Recognition based on FMCW Radar with Deep Learning

- Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo đạc thông số khoảng cách và vận tốc của đối tượng

- Xây dựng mô hình thu thập dữ liệu cử chỉ sử dụng hệ thống Radar FMCW

- Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ thống Radar FMCW kết hợp mô hình học sâu

- Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc thực nghiệm trên Module Radar FMCW

III NGÀY GIAO NHIỆM VỤ: 02/2023

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 06/2023

V CÁN BỘ HƯỚNG DẪN: Tiến sĩ Trịnh Xuân Dũng, Tiến sĩ Võ Tuấn Kiệt

LỜI CÁM ƠN

Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến TS Trịnh Xuân Dũng, người Thầy – vô cùng nhiệt huyết, tận tâm và là nguồn kiến thức tuyệt vời – đã hướng dẫn và giúp đỡ tôi từ những năm tháng đại học đến hiện tại và cũng là người luôn đồng hành và hỗ trợ tôi trong suốt quá trình thực hiện luận văn thạc sĩ này Bên cạnh đó tôi xin gửi lời cảm ơn đến TS Võ Tuấn Kiệt người Thầy đã tận tình hướng dẫn tôi về học sâu một lĩnh vực mà tôi còn thiếu nhiều kiến thức

Tôi xin gửi lời cảm ớn đến quý Thầy trong Khoa Điện – Điện Tử đã luôn hướng dẫn nhiệt huyết qua các môn học từ lúc Đại học cho đến Cao học, bởi dù ít dù nhiều đã góp phần củng cố và bồi đắp kiến thức để tôi có khả năng hoàn thành luận văn này Bên cạnh đó, xin được cám ơn các anh em bạn bè gần xa đã hỗ trợ tôi về mặt kỹ thuật trong quá trình thực hiện đề tài luận văn này Tôi cũng xin gửi lời cảm ơn đến bộ môn Viễn Thông, khoa Điện – Điện Tử, trường Đại học Bách Khoa – ĐHQG TP HCM đã hỗ trợ tôi có điều kiện về cơ sở vật chất, phòng học để tôi có thể hoàn thành luận văn một cách tốt nhất!

TP HCM, ngày 07, tháng 06 năm 2023

Nguyễn Chánh Trực

TÓM TẮT LUẬN VĂN

Ngày nay, nhiều công nghệ nhận diện hành động không tiếp xúc đang được đẩy mạnh phát triển đặc biệt là sự bùng nổ của các ứng dụng thực tế ảo tăng cường, trong đó bao gồm công nghệ nhận diện bằng hệ thống Radar FMCW kết hợp với học sâu đem lại nhiều kết quả đáng mong đợi Luận văn này sẽ trình bày về ứng dụng hệ thống Radar FMCW mmWave, kết hợp các thuật toán nhận diện dựa trên mô hình học sâu gồm CONV1D, LSTM và Transformer trong bài toán nhận dạng hành động

Các tập dữ liệu trong bài toán nhận dạng hành động được xây đựng bao gồm các tập dữ liệu đã được công bố và dữ liệu tự thu thập thực tế Các mô hình được tiến hành huấn luyện và đánh giá dựa trên tập dữ liệu xây dựng được Mô hình LSTM sau khi được huấn luyện trên tập dữ liệu này và đánh giá trên tập dữ liệu khác bị giảm độ chính xác ít nhất trong ba mô hình và cũng có độ chính xác cao nhất (99.17%) sau khi so sánh với hai mô hình còn lại Từ đó có thể thấy mô hình LSTM là mô hình phù hợp cho ứng dụng Ngoài ra, luận văn còn phát triển một hệ thống nhận diện hành động sử dụng mô hình đã được huấn luyện và module Radar FMCW – IWR1642BOOST qua đó điều khiển trình ứng dụng âm nhạc trên máy tính từ một số hành động đơn giản

ABSTRACT

Recently, many contactless gesture recognition technologies are being promoted especially the explosion of augmented reality applications The combination of FMCW Radar system and deep learning bring many desirable results This thesis introduces the application of the FMCW mmWave Radar system with recognition algorithms based on deep learning models including CONV1D, LSTM and Transformer in gesture recognition problems

The data sets in the gesture recognition problems are built with published data sets and actual self-collected data The models are trained and evaluated based on the built data set After being trained on this dataset and evaluated on another dataset, LSTM model has the least accuracy reduction in the three models and also has the highest accuracy (99.17%) when comparing with other two models From there, it can be seen that the LSTM model is the suitable model for the radar gesture recognition applications In addition, the thesis also develops an gesture recognition system using the trained model and FMCW Radar module - IWR1642BOOST, thereby controlling the music application on the computer from a number of simple gestures

LỜI CAM ĐOAN

Tôi tên Nguyễn Chánh Trực, là học viên cao học chuyên ngành Kỹ thuật Viễn thông, khóa 2019, tại Đại học Quốc gia thành phố Hồ Chí Minh – Trường Đại học Bách Khoa Tôi xin cam đoan những nội dung sau đều là sự thật:

- Công trình nghiên cứu này hoàn toàn do chính tôi thực hiện dưới sự hướng dẫn của TS Trịnh Xuân Dũng và TS Võ Tuấn Kiệt

- Các tài liệu và trích dẫn trong luận văn này được tham khảo từ các nguồn thực tế, có uy tín và độ chính xác cao

- Các số liệu và kết quả của công trình này được thực hiện một cách độc lập và trung thực

TP HCM, ngày 07, tháng 06 năm 2023

Nguyễn Chánh Trực

1.2.2 Nhiệm vụ luận văn 2

1.3 Đối tượng và phạm vi nghiên cứu 2

1.3.1 Đối tượng nghiên cứu 2

1.3.2 Phạm vi nghiên cứu 2

1.4 Phương pháp nghiên cứu 2

1.5 Bố cục của luận văn 3

CHƯƠNG 2 TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ CƠ SỞ LÝ THUYẾT LIÊN QUAN 4

2.1 Hệ thống nhận diện hành động 4

2.2 Hệ thống nhận diện hành động bằng Radar FMCW 5

2.3 Tổng quan về hệ thống Radar FMCW 5

2.3.1 Cấu tạo và cơ chế hoạt động của hệ thống Radar FMCW 7

2.3.2 Khoảng cách vật thể đối với Radar và độ phân giải khoảng cách 12

2.3.3 Vận tốc vật thể đối với Radar và độ phân giải vận tốc 16

2.3.4 Góc đến từ vật thể tới Radar và độ phân giải góc đến 22

2.4 Một số lý thuyết về học máy và học sâu 27

2.4.1 Mạng nơ-ron nhân tạo 27

2.4.2 Hàm kích hoạt 27

2.4.3 Mạng nơ-ron tích chập (CNN) 28

2.4.4 Mạng nơ-ron hồi quy (RNN) 29

2.4.5 Long Short Term Memory (LSTM) 30

2.4.6 Transformer 34

2.5 Kết luận chương 37

CHƯƠNG 3 THỰC HIỆN VÀ PHÂN TÍCH 38

3.2 Mô hình lấy mẫu dữ liệu thực tế 42

3.2.1 Tổng quan module IWR1642BOOST 42

3.2.2 Định dạng dữ liệu từ module IWR1642 44

3.2.3 Sơ đồ khối và giải thuật lấy mẫu hành động 45

3.2.4 Lấy mẫu dữ liệu 46

5.1.1 Các công việc đã thực hiện được 77

5.1.2 Những hạn chế của luận văn 78

5.2 Hướng phát triển 78

TÀI LIỆU THAM KHẢO 79

DANH SÁCH BẢNG

Bảng 2-1: Các hàm kích hoạt thông dụng 28 Bảng 3-1: Thông số cấu hình module IWR1642 38 Bảng 3-2: Thống kê số lượng mẫu của từng loại thao tác 39 Bảng 3-3: Thống kê số lượng mẫu của từng loại hành động trong nhóm test của tập dữ liệu cho trước 42 Bảng 3-4: Thông tin trong Detected object TLV 45 Bảng 3-5: Thống kê số lượng mẫu của từng loại hành động theo người tham gia 47 Bảng 3-6: Thống kê số lượng mẫu của từng loại hành động trong nhóm test của tập dữ liệu được lấy mẫu thực tế 47 Bảng 3-7: Kết quả đánh giá của mô hình CONV1D với các nhóm test của bộ dữ liệu tương ứng với từng trường hợp huấn luyện 52 Bảng 3-8: Kết quả đánh giá của mô hình LSTM với các nhóm test của bộ dữ liệu tương ứng với từng trường hợp huấn luyện 57 Bảng 3-9: Kết quả đánh giá của mô hình Transformer với các nhóm test của bộ dữ liệu tương ứng với từng trường hợp huấn luyện 62 Bảng 3-10: Thống kê các kết quả đạt được sau khi huấn luyện của 3 mô hình học sâu CONV1D, LSTM, và Transformer 67 Bảng 4-1: Ánh xạ các loại thao tác với chức năng điều khiển 75

DANH SÁCH HÌNH VẼ

Hình 2-1: Một số kỹ thuật nhận dạng hành động 4

Hình 2-2: Sơ đồ khối hệ thống nhận diện hành động bằng Radar FMCW 5

Hình 2-3: Sơ đồ khối của một hệ thống radar đơn giản 6

Hình 2-4: Các dạng sóng FMCW 7

Hình 2-5: Sơ đồ giản lược của hệ thống Radar FMCW 7

Hình 2-6: Sơ đồ cấu tạo đơn giản của bộ phát sóng 8

Hình 2-7: Tín hiệu Chirp 8

Hình 2-8: Mối quan hệ giữa tần – thời gian của chirp 9

Hình 2-9: Sơ đồ cấu tạo đơn giản của bộ thu sóng 10

Hình 2-10: Chirp phát và Chirp thu 10

Hình 2-11: Tín hiệu trung tần từ việc trộn tần giữa tín hiệu phát và thu 12

Hình 2-12: Khoảng cách d giữa vật thể và radar 12

Hình 2-13: Thời gian trễ giữa Chirp phát và Chirp thu 13

Hình 2-14: Độ phân giải khoảng cách giữa hai vật thể 13

Hình 2-15: Tín hiệu từ hai vật thể thu về được 14

Hình 2-16: Tín hiệu có các thành phần tần số bị chồng lấn do không đủ thời gian lấy mẫu 14

Hình 2-17: Tăng thời gian tín hiệu 15

Hình 2-18: Tín hiệu tách rời nhau ở miền tần số 15

Hình 2-19: Tín hiệu IF phải được lấy mẫu trước khi xử lý 16

Hình 2-20: Hai vật thể có cùng khoảng cách với radar 17

Hình 2-21: Hai pha khác nhau của hai tín hiệu có cùng khoảng cách – tần số 17

Hình 2-22: Độ trễ và độ lệch pha giữa hai Chirp RX liên tiếp 18

Hình 2-23: Đỉnh tần số góc của tín hiệu sau biến đổi FFT rời rạc (D-FFT) [7] 20

Hình 2-27: Phân tích hình học sóng tới anten thu 24

Hình 2-28: Biến đổi DFFT để tìm các độ lệch pha khác nhau từ các kênh thu 25

Hình 2-29: Các trường hợp độ lệch pha giữa 2 kênh thu 26

Hình 2-30: Mạng nơ-ron nhân tạo với các nút màu xanh là nút đầu vào, các nút màu cam ở giữa là các nút ẩn, nút cam bên phải là nút đầu ra và các nút (+1) được gọi là độ lệch (bias) Các mũi tên là các trọng số kết nối giữa 2 lớp liền kề 27

Hình 2-31: Sơ đồ tổng quát mạng RNN 29

Hình 2-32: Các module lặp của mạng RNN chứa một lớp 30

Hình 2-33: Các module lặp của mạng LSTM chứa bốn lớp 31

Hình 2-34: Giải thích các ký hiệu trong Hình 2-33 31

Hình 2-35: Quá trình trạng thái của một tế bào 32

Hình 2-36: Cổng trạng thái LSTM 32

Hình 2-37: Cổng quên 33

Hình 2-38: Cổng vào và cổng 𝑡𝑎𝑛ℎ 33

Hình 2-39: Quá trình cập nhật trạng thái cũ 34

Hình 2-40: Kết quả ngõ ra của cell 34

Hình 2-41: Kiến trúc của mô hình Transformer 35

Hình 2-42: Kiến trúc tự tập trung 36

Hình 2-43: Tập trung đa đầu 36

Hình 3-1: Mô hình lấy mẫu hành động 38

Hình 3-2: Mô tả các loại hành động 39

Hình 3-3: Các mẫu dữ liệu hành động thu được từ radar theo tọa độ X và Y trên các frame 40

Hình 3-4: Histogram của một số loại hành động trong tập dữ liệu cho trước 41

Hình 3-5: Sơ đồ khối của module IWR1642BOOST 43

Hình 3-6: Mặt trước của module IWR1642BOOST 43

Hình 3-7: Mặt sau của module IWR1642BOOST 44

Hình 3-8: Cấu trúc gói dữ liệu được gửi thông qua UART 44

Hình 3-10: Sơ đồ giải thuật lấy mẫu dữ liệu hành động 46

Hình 3-11: Histogram của một số loại hành động trong tập dữ liệu lấy mẫu thực tế 48

Hình 3-12: Sơ đồ khối mô hình mạng tích chập một chiều nhận dạng hành động 49

Hình 3-13: Sơ đồ khối mô hình mạng LSTM nhận dạng hành động 50

Hình 3-14: Sơ đồ khối mô hình mạng Transformer nhận dạng hành động 51

Hình 3-15: Biểu đồ so sánh độ chính xác của các mô hình sau khi được huấn luyện với Tập Số 1 69

Hình 3-16: Biểu đồ so sánh độ chính xác của các mô hình sau khi được huấn luyện với Tập Số 2 69

Hình 3-17: Biểu đồ so sánh độ chính xác của các mô hình sau khi được huấn luyện với cả hai tập dữ liệu 70

Hình 4-1: Sơ đồ khối hệ thống nhận dạng hành động 71

Hình 4-2: Sơ đồ kết nối phần cứng của hệ thống nhận diện hành động 72

Hình 4-3: Sơ đồ giải thuật của module Data-Parser 73

Hình 4-4: Sơ đồ giải thuật của module Point-cloud Plotter 74

Hình 4-5: Sơ đồ giải thuật của module Predictor 75

Hình 4-6: Điều khiển tăng âm lượng bằng thao tác đưa tay lên 76

Hình 4-7: Điều khiển giảm âm lượng bằng thao tác đưa tay xuống 76

DANH SÁCH TỪ VIẾT TẮT

ADC Analog-to-digital converter (Bộ chuyển đổi tín hiệu tương tự sang số) ANN Artificial neural network (Mạng nơ-ron nhân tạo)

CONV1D Convolution 1-dimension (Tích chập một chiều)

D-FFT Discrete Fast Fourier Transform (Biến đổi Fourier nhanh rời rạc) DSP Digital Signal Processing (Xử lý tín hiệu số)

FFT Fast Fourier Transform (Biến đổi nhanh Fourier)

FMCW Frequency-Modulated Continuous-Waves (Sóng liên tục được điều chế tần số)

RADAR Radio Detection and Ranging (Phát hiện và định vị vật thể bằng sóng vô tuyến)

RFCMOS Radio Frequency Complementary Metal-Oxide-Semiconductor (Mạch bán dẫn cao tần)

SNR Signal-to-noise ratio (Tỉ số tín hiệu trên nhiễu)

TLV Type-length-value (Chuẩn mã hóa để truyền thông tin)

UART Universal asynchronous receiver-transmitter (Bộ truyền nhận nối tiếp bất đồng bộ)

CHƯƠNG 1 GIỚITHIỆU 1.1 Đặt vấn đề

Cùng với sự phát triển của khoa học công nghệ hiện nay, công nghệ nhận diện hành động đã và đang được ứng dụng rộng rãi trong nhiều lĩnh vực như thực tế ảo, trò chơi, tự động hóa, các thiết bị đeo, điện thoại di động và y tế Nhận diện hành động có thể tích hợp trong nhiều loại thiết bị, máy ảnh quang học, hoặc các bộ điều khiển dựa trên hành động và radar Ngày nay, công nghệ nhận diện dựa trên máy ảnh quang học đang được ứng dụng rộng rãi Tuy nhiên, công nghệ này còn nhiều hạn chế trong cả phần cứng và phần mềm: cảm biến của máy ảnh rất nhạy với điều kiện ánh sáng, trong các điều kiện môi trường như bụi, thời tiết, thiếu sáng, dư sáng, vết trầy xước trên thấu kính đều có thể ảnh hưởng đến chất lượng của dữ liệu Trên hết, công nghệ dựa trên máy ảnh có thể trở thành đối tượng tấn công, bởi vì các dữ liệu ảnh có thể dễ dàng đưa vào hệ thống

Gần đây, công nghệ nhận diện hành động bằng radar đang dần được phổ biến, không bị ảnh hưởng bởi điều kiện ánh sáng và thời tiết Hơn nữa, một cảm biến duy nhất có thể thu thập dữ liệu khoảng cách, hướng trong không gian 2 chiều và 3 chiều, cũng như vận tốc của vật thể dựa trên nguyên lý Doppler Những thông số này có thể tăng khả năng phân loại và độ chính xác của hệ thống

1.2 Mục tiêu và nhiệm vụ của luận văn 1.2.1 Mục tiêu

Luận văn nghiên cứu, triển khai hệ thống nhận dạng hành động sử dụng hệ thống Radar FMCW với các mục tiêu sau:

1 Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo đạc thông số khoảng cách và vận tốc của đối tượng

4 Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc thực nghiệm trên Module Radar FMCW

1.2.2 Nhiệm vụ luận văn

• Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo đạc thông số khoảng cách và vận tốc của đối tượng

• Xây dựng mô hình thu thập dữ liệu hành động sử dụng hệ thống Radar FMCW

• Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ thống Radar FMCW kết hợp mô hình học sâu

• Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc thực nghiệm trên Module Radar FMCW

1.3 Đối tượng và phạm vi nghiên cứu 1.3.1 Đối tượng nghiên cứu

Hệ thống nhận diện hành động dùng trong luận văn này được xây dựng dựa trên tiền đề các giải thuật học sâu như CONV1D, LSTM [1], và Transformer [2] và nền tảng công nghệ Radar FMCW với bước sóng milimet thông qua việc sử dụng module IWR1642BOOST được sản xuất bởi hãng Texas Instruments

1.3.2 Phạm vi nghiên cứu

Hệ thống FMCW Radar nhận diện hành động dùng trong luận văn này được xây dựng và áp dụng trong môi trường một phòng làm việc thông thường, với các vật dụng và thiết bị văn phòng xung quanh cơ bản như bàn, ghế làm việc, máy tính để bàn

1.4 Phương pháp nghiên cứu

Phương pháp nghiên cứu được sử dụng trong luận văn là phương pháp tiếp cận có hệ thống Các công trình liên quan được khảo sát, phân tích, tổng hợp, và đánh giá ưu nhược điểm Hệ thống triển khai được mô phỏng để đánh giá hiệu năng và sau đó tín hiệu dữ liệu thực nghiệm được thu thập thông qua các bài đo trong môi trường thật Các hệ thống phần cứng, phần mềm, giải thuật được tích hợp nhằm đánh giá hiệu quả, đi sâu hơn về việc phân tích các ưu điểm, các kết quả dựa trên tính kỹ thuật và chỉ ra các vấn đề còn cần được nghiên cứu để tiếp tục phát triển Cuối cùng đề tài đưa ra một

Phương pháp nghiên cứu trình bày qua các bước sau: 1 Tìm kiếm tài liệu, công trình nghiên cứu liên quan

2 Đọc và xem xét tổng quan các công trình nghiên cứu, các tài liệu đã tìm kiếm có liên quan đến đề tài đang hướng tới

3 Phân tích và phân loại các phương pháp tiếp cận vấn đề của các công trình nghiên cứu trước đó so sánh ưu, nhược điểm của các phương pháp Từ đó đưa ra lựa chọn phương pháp phù hợp

4 Viết báo cáo đánh giá các kết quả đạt được, đưa ra nhận xét và kiến nghị

1.5 Bố cục của luận văn

Luận văn này được trình bày với nội dung các chương như sau: Chương 1 trình bày những nhiệm vụ và mục tiêu của luận văn

Chương 2 trình bày các khái niệm liên quan về việc xây dựng một hệ thống nhận diện hành động dùng Radar FMCW, cơ sở lý thuyết và cấu tạo của hệ thống

Chương 3 trình bày các giải thuật nhận diện hành động, huấn luyện các mô hình nhận diện sau đó phân tích và đánh giá kết quả với tập dữ liệu cho trước và tập dữ liệu lấy mẫu thực tế

Chương 4 trình bày hệ thống nhận diện hành động hoàn chỉnh với module IWR1642Boost với giải thuật đã xây dựng và khảo sát ở chương 3

Cuối cùng, chương 5 đưa ra kết luận đánh giá tổng quát và trình bày về các hướng phát triển trong tương lai

CHƯƠNG 2 TỔNGQUANCÁCVẤNĐỀNGHIÊNCỨUVÀCƠSỞLÝTHUYẾTLIÊNQUAN

2.1 Hệ thống nhận diện hành động

Nhận dạng hành động là quá trình xác định các hành động được thực hiện bởi người dùng bằng máy tính Từ đó con người có thể điều khiển máy móc bằng hành động Chủ yếu có hai phương pháp nhận dạng hành động là dựa trên hành động tĩnh và động Phương pháp nhận diện tĩnh chỉ có thể nhận dạng được các hành động đã được định nghĩa trước Trong khi đó, cử động có nhiều ý nghĩa thực tế hơn, mặc dù gặp nhiều khó khăn [3] Đã có nhiều nghiên cứu phát triển các kỹ thuật nhận dạng dựa trên thị giác máy tính [4], cảm biến tiếp xúc [5], và radar [6] [7]

Hình 2-1: Một số kỹ thuật nhận dạng hành động

Các kỹ thuật dựa trên hình ảnh như camera sẽ bị ảnh hưởng nhiều bởi ánh sáng môi trường và gặp nhiều vấn đề liên quan đến bảo mật Bên cạnh đó các kỹ thuật sử dụng cảm biến tiếp xúc có thể mang lại độ chính xác tốt hơn và ít phụ thuộc vào môi trường bên ngoài, nhưng lại cồng kềnh và khó triển khai mở rộng Hệ thống nhận diện bằng radar sẽ hạn chế được sự phụ thuộc vào môi trường ánh sáng, đảm bảo sự riêng tư, bảo mật và dễ dàng triển khai

2.2 Hệ thống nhận diện hành động bằng Radar FMCW

Radar FMCW là kỹ thuật ngày càng được ứng dụng rộng rãi trong việc đo khoảng cách và vận tốc chuyển động của các vật thể ở khoảng cách gần (từ vài chục cm đến vài km) Ngoài ra, các hệ thống Radar FMCW còn có thể được tích hợp trong các ứng dụng có độ phức tạp cao như tái tạo hình ảnh vật thể, phân loại đối tượng, nhận diện hành động nhằm khắc phục các điểm yếu của các công nghệ khác như camera (vấn đề về bảo mật), cảm biến tiếp xúc (cồng kềnh khó triển khai)

Ngoài ra, với ứng dụng của học sâu, các hành động phức tạp có thể được nhận dạng mà các phương pháp đã được phát triển trước đây chưa giải quyết được

Hình 2-2: Sơ đồ khối hệ thống nhận diện hành động bằng Radar FMCW

Hệ thống nhận diện bao gồm một Radar FMCW dùng để thu thập dữ liệu chuyển động, dữ liệu sẽ được máy tính xử lý và lưu trữ dùng để huấn luyện và nhận dạng

2.3 Tổng quan về hệ thống Radar FMCW

RADAR (Radio Detection And Ranging), là một kỹ thuật hoặc hệ thống được sử dụng để xác định phạm vi, góc hoặc vận tốc của các vật thể trong môi trường bằng sóng vô tuyến Khác với những hệ thống cảm biến thụ động như thị giác máy tính chỉ

Hình 2-3: Sơ đồ khối của một hệ thống radar đơn giản [8]

Hệ thống radar sóng milimet – mmWave radar, thông thường hoạt động tại các dãi tần 60 – 64 GHz hoặc 76 – 81 GHz với bước sóng chỉ vài milimet, gần đây đang được ứng dụng rộng rãi trong thương mại Lợi ích lớn nhất của các hệ thống mmWave radar là các phần cao tần và anten có kích thước nhỏ gọn do sử dụng tần số cao Ngoài ra mmWave radar có thể cung cấp băng thông tín hiệu cao lên đến 4 GHz, đồng nghĩa với độ phân giải cao lên đến 3.375 centimet

FMCW radar (Frequency-Modulated Continuous Wave radar) là hệ thống radar phát tín hiệu liên tục với tần số tín hiệu thay đổi theo thời gian Một thiết bị radar sóng liên tục nếu không sử dụng điều chế tần số có nhược điểm không thể xác định được thông số khoảng cách đến vật thể vì thiếu thông tin chỉ thị thời gian cần thiết cho phép hệ thống xác định được thời gian chính xác giữa thời điểm phát và thu được dùng để xác định khoảng cách

Có 3 loại điều chế tần số cơ bản được minh họa trong Hình 2-4 gồm sóng răng cưa, sóng tam giác và sóng sin

Hình 2-4: Các dạng sóng FMCW

Đối với hệ thống FMCW radar, tần số được thay đổi liên tục theo mộ chu kỳ và tuân theo quy tắc điều chế dạng xung Từ đó tín hiệu cũng được bức xạ ra không gian nhà anten phát sau đó được thu lại bởi anten thu và trộn với tín hiệu phát tại bộ trộn tần (MIXER) cho ra tín hiệu trung tần – IF Tín hiệu IF này sẽ được đưa qua bộ lọc và khuếch đại trước khi xử lý

2.3.1 Cấu tạo và cơ chế hoạt động của hệ thống Radar FMCW

Các hệ thống radar đều được cấu tạo từ những khối cơ bản sau: bộ phát sóng (transmitter), bộ thu sóng (receiver), bộ khuếch đại nhiễu thấp (low-noise amplifier), và bộ xử lý tín hiệu (signal processor) [8] Các hệ thống radar khác nhau sẽ có những thành phần trong từng khối khác nhau

Hình 2-6: Sơ đồ cấu tạo đơn giản của bộ phát sóng

Hình 2-7: Tín hiệu Chirp

Một tín hiệu Chirp đặc trưng bởi tần số bắt đầu 𝑓0 , băng thông B và chu kỳ T Độ dốc của một Chirp (S) cho ta thông tin về tốc độ thay đổi của tần số

Có nhiều dạng điều chế tần số tín hiệu, phổ biến nhất là điều chế tần số tuyến tính tức giá trị tần số tăng tuyến tính theo thời gian, được biểu diễn trên đồ thị thời gian – tần số như sau:

Hình 2-8: Mối quan hệ giữa tần – thời gian của chirp

Khoảng giá trị tần số điều chế được gọi là “băng thông quét” B Khoảng thời gian điều chế được gọi là “thời gian Chirp” 𝑇 = 𝑇𝐶 Tỉ số giữa hai đại lượng này được gọi là “độ dốc Chirp”:

Tín hiệu sẽ đi qua bộ khuếch đại công suất trước khi được lan truyền ra không gian qua anten

2.3.1.2 Bộ thu sóng

Hình 2-9: Sơ đồ cấu tạo đơn giản của bộ thu sóng

Bắt đầu từ anten thu tiếp nhận sóng phản xạ trở về từ vật thể, tín hiệu thu được đi qua một bộ lọc thông dải để thu những tín hiệu có tần số trong khoảng băng thông B Sau đó, tín hiệu được khuếch đại qua bộ khuếch đại nhiễu thấp và được đưa vào bộ trộn tần Bộ trộn tần là thành phần vô cùng quan trọng có chức năng so sánh Chirp phát và Chirp thu, tạo ra tín hiệu so sánh làm cơ sở để phân tích các thông số của vật thể

Chirp thu được biểu diễn cùng với Chirp phát như Hình 2-10

Hình 2-10: Chirp phát và Chirp thu

Chirp phản xạ về radar sau khi đã qua một thời gian 𝜏 ngoài không gian Thời gian này được gọi là “độ trễ” Độ trễ này tạo ra sự chênh lệch về mặt tần số giữa 2 chirp thu và phát tại cùng một thời điểm Bộ trộn tần có nhiệm vụ trích xuất sự khác

nhau này bằng cách thực hiện hiệu tần số giữa Chirp phát và thu Tín hiệu kết quả mang tần số trung tần – “Intermediate Frequency” được viết tắt là “IF”

Phương trình cho tín hiệu Chirp biến đổi tần số dạng răng cưa: 𝑓(𝑡) = 𝑆𝑡 + 𝑓0, trong đó 𝑆 =𝑓𝑚𝑎𝑥−𝑓0

𝑇 và T là chu kỳ truyền của một tín hiệu chirp 𝜙(𝑡) = 𝜙0+ 2𝜋 ∫ 𝑓(𝑡)𝑑𝑡

= 𝜙0+ 2𝜋 ∫(𝑆𝑡 + 𝑓0)𝑑𝑡 = 𝜙0+ 2𝜋(𝑆2𝑡

Từ phương trình sóng IF (2.5, ta tính được tần số IF:

𝑓𝐼𝐹 = 𝑆𝜏 =𝑆2𝑑

Hình 2-11: Tín hiệu trung tần từ việc trộn tần giữa tín hiệu phát và thu

Tín hiệu trung tần trên có vai trò quan trọng trong phân tích và tính toán các thông số của vật thể

2.3.2 Khoảng cách vật thể đối với Radar và độ phân giải khoảng cách

Hình 2-12: Khoảng cách d giữa vật thể và radar

Hình 2-13: Thời gian trễ giữa Chirp phát và Chirp thu

Với một vật ở trước radar khoảng cách 𝑑 phản xạ lại Chirp phát từ radar như Hình 2-12 Chirp mà radar thu lại được trễ một khoảng thời gian 𝜏 so với Chirp phát ban đầu (Hình 2-13) Từ phương trình ta có công thức tính khoảng cách sau:

𝑑 =𝑓𝐼𝐹𝑐2𝑆

(2.7)

Độ phân giải khoảng cách (𝑑𝑟𝑒𝑠) là khoảng cách tối thiểu giữa hai vật thể thẳng hàng với radar mà radar vẫn còn có thể phân biệt được

Hình 2-14: Độ phân giải khoảng cách giữa hai vật thể

Trong điều kiện lý tưởng, tín hiệu trung tần của mỗi vật có dạng hình sin như Hình 2-15 Điểm khác nhau giữa hai tín hiệu là chúng có tần số khác nhau:

Hình 2-15: Tín hiệu từ hai vật thể thu về được

Dùng biến đổi Fourier cho chuỗi tín hiệu ở trên sẽ thu về được thành phần tần số của mỗi tín hiệu Tuy nhiên, nếu tần số của hai tín hiệu gần nhau mà thời gian lấy mẫu lại không đủ thấp, thì phép biến đổi Fourier cũng không thể phân tách được những thành phần tần số đó

Hình 2-16: Tín hiệu có các thành phần tần số bị chồng lấn do không đủ thời gian lấy mẫu

Vì thành phần tần số của tín hiệu là cố định, nên chỉ có thể điều chỉnh thời gian của tín hiệu Nếu như thời gian lấy mẫu tín hiệu 𝑇 được tăng lên thành 2𝑇 (Hình 2-17) Kết quả tần số trung tần (IF) – của biến đổi Fourier sẽ cho ra các đỉnh tần số tách rời nhau như Hình 2-18 Dựa trên phép biến đổi Fourier, điều kiện khoảng tần số nhỏ nhất giữa các tín hiệu để các thành phần này còn có thể phân biệt được trên miền tần số: [9]

∆𝑓 > 1𝑇𝑐𝑆2∆𝑑

𝑐 > 𝑇𝑐

(2.8)

=> ∆𝑑 > 𝑐2𝑆𝑇𝑐 =

Hình 2-17: Tăng thời gian tín hiệu

Hình 2-18: Tín hiệu tách rời nhau ở miền tần số

Từ (2.8) ta có:

𝑑𝑟𝑒𝑠 = 𝑐2𝐵

Hình 2-19: Tín hiệu IF phải được lấy mẫu trước khi xử lý

2.3.3 Vận tốc vật thể đối với Radar và độ phân giải vận tốc

Một trong các thông số quan trọng cần đo của một vật thể bất kỳ là đại lượng vận tốc Nhờ đó ta có thể phân biệt được 2 vật thể có cùng khoảng cách với radar (Hình 2-20)

Hình 2-20: Hai vật thể có cùng khoảng cách với radar

Hai tín hiệu trung tần cùng khoảng cách sẽ có cùng tần số Tuy nhiên nếu vận tốc của chúng khác nhau sẽ tạo ra sự khác biệt về pha của mỗi tín hiệu:

Hình 2-21: Hai pha khác nhau của hai tín hiệu có cùng khoảng cách – tần số

Như vậy nếu một vật di chuyển trước radar, hai tín hiệu trung tần từ 2 chirp liền kề nhau sẽ khác nhau ở góc pha ban đầu Mà tín hiệu trung tần là hiệu tần số của chirp phát và thu, và chirp phát có tần số cố định, độ lệch pha của tín hiệu trung tần liên tiếp cũng là độ lệch pha giữa hai chirp thu liên tiếp Điều này được biểu diễn ở tín hiệu chirp thu B và E như sau:

Hình 2-22: Độ trễ và độ lệch pha giữa hai Chirp RX liên tiếp

Hai chirp thu B và E thu về cách nhau một khoảng thời gian ∆𝜏, gọi chu kỳ của một chirp là 𝑇𝑐ℎ𝑖𝑟𝑝, từ đó suy ra được độ lệch pha giữa hai chirp này:

Δ𝜏 còn là thời gian chirp đi tới vật và phản xạ về trên quãng đường ∆𝑑, vốn là

Tương tự với độ phân giải khoảng cách, độ phân giải vận tốc là giá trị vận tốc nhỏ nhất giữa 2 vật mà còn có thể phân biệt được khi phân tích Một tín hiệu trung tần của 1 chirp có thể mang nhiều thành phần pha ban đầu 𝜙 Các thành phần pha này chênh lệch với các thành phần pha của chirp kế tiếp bằng các giá trị độ lệch pha: Δ𝜙𝑖, với 𝑖 là số chỉ của các thành phần pha trong tín hiệu Độ biến thiên của các pha theo các giá trị Δ𝜙𝑖 giữa các chirp liên tiếp được gọi là các tần số góc 𝜔𝑖

Các tần số góc 𝜔𝑖 chỉ xuất hiện từ chirp thứ 2 trở lên khi có sự chênh lệch giữa 2 pha của 2 chirp Và khi số chirp tăng càng nhiều, giá trị 𝜔𝑖 cũng được lấy mẫu tương tự Tương tự như phân biệt tần số, càng nhiều chirp sẽ giúp phân biệt rõ hơn các 𝜔𝑖

Hình 2-23: Đỉnh tần số góc của tín hiệu sau biến đổi FFT rời rạc (D-FFT) [9]

Theo biến đổi rời rạc D-FFT, điều kiện để 2 tần số góc còn có thể phân biệt được:

Hình 2-24: Một frame của radar

Nếu 𝜔 ở mỗi nửa đường tròn lượng giác vượt quá giới hạn của mỗi bên: 𝜋 và −𝜋, nó sẽ bị nhầm lẫn thành phần giá trị tần số góc của nửa bên kia (c) Do đó, điều kiện đặt ra giới hạn 𝜔 là như sau:

2.3.4 Góc đến từ vật thể tới Radar và độ phân giải góc đến

Góc đến từ vật thể tới radar (𝜃) được giới hạn bởi trục hoành có góc tại radar và tia nối từ radar đến vật

Hình 2-25: Đo góc của một vật thể trước radar cần từ hai kênh thu trở lên

Để xác định được góc đến, 2 anten thu cách nhau một khoảng 𝑑𝑅𝑋 trong không gian được sử dụng thu về 2 Chirp phản xạ Khoảng cách của 𝑑𝑅𝑋: [9]

𝜆

Hình 2-26: Sự chênh lệch về quãng đường đi của sóng phản xạ từ một vật tới 2 anten thu

Vì 2 anten ở hai vị trí khác nhau, một chirp phản xạ phải đi với quãng đường dài hơn so với chirp còn lại như Hình 2-26 Áp dụng công thức (2.20) vốn là biểu thức độ lệch pha giữa 2 chirp với một số hiệu chỉnh: theo Hình 2-26, quãng đường Δ𝑑 là quãng đường đi thêm của riêng 1 chirp thu ở kênh thu thứ 2, khác với trường hợp của tính toán vận tốc là cả chirp phát và thu của chirp thứ 2 đều đi qua quãng đường Δ𝑑, biểu thức tần số góc (hay độ lệch pha) giữa 2 chirp của 2 kênh thu:

Để xác định chênh lệch quãng đường Δ𝑑, coi các tia chirp phản xạ tới các kênh thu là song song do khoảng cách từ radar tới vật rất lớn so với khoảng cách vật lý giữa hai kênh thu (Hình 2-27) Phân tích lượng giác, suy ra được quãng đường đi chênh lệch giữa 2 chirp thu:

Hình 2-27: Phân tích hình học sóng tới anten thu

Tương tự như cách phân tích độ phân giải vận tốc, dọc trên các kênh thu, điều kiện (2.37) là điều kiện để các tần số góc còn có thể phân biệt được [9]

ω >2𝜋𝑁

(2.37)

Hình 2-28: Biến đổi DFFT để tìm các độ lệch pha khác nhau từ các kênh thu

Thay (2.35) cùng với chênh lệch góc đên được biểu diễn bằng Δ𝜃:

Δω =2𝜋𝑑𝑅𝑋(sin(𝜃 + Δ𝜃) − 𝑠𝑖𝑛𝜃)𝜆

=> Δ𝜃 > 𝜆

𝜃𝑟𝑒𝑠 = 𝜆

Tương tự như vận tốc, tần số góc thu về được cũng rơi vào các trường hợp ở Hình 2-29 (a) vật ở vùng quét bên trái radar; (b) vật ở vùng quét bên phải và (c) không thể xác định vị trí

Hình 2-29: Các trường hợp độ lệch pha giữa 2 kênh thu

Điều kiện của 𝜔 chính là (2.29) Thay (2.35) vào, suy ra: 2𝜋𝑑𝑅𝑋𝑠𝑖𝑛𝜃