Luận văn thạc sĩ Công nghệ thông tin: Nghiên cứu áp dụng mô hình máy học vào hệ thống truyền thông không dây MIMO-OFDM (Research on applying deep learning on the MIMO-OFDM wireless communication system)

Từ các kiến thức về máy học, kỹ thuật xử lý tín hiệu truyền thống bằng công thức toán học học viên đã xây dựng được các mô hình máy học vào nhận diện, xử lý tín hiệu không dây, bước đầu

ĐẠI HỌC QUÓC GIA TP.HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

B® CR

@

NGUYEN LÊ TOAN YEN LINH

NGHIEN CUU

AP DUNG MO HINH MAY HOC

VAO HE THONG TRUYEN THONG

KHONG DAY MIMO-OFDM

(Research on applying deep learning on the MIMO-OFDM wireless communication system)

LUAN VAN THAC Si NGANH CONG NGHE THONG TIN

MA SO: 8480201

NGƯỜI HƯỚNG DAN KHOA HỌC

TS LÂM ĐỨC KHẢI

TP HÒ CHÍ MINH - NĂM 2022

LỜI CẢM ƠN

Sau khi nghiên cứu các kiến thức về xử lý tín hiệu số trong hệ thống truyền thông

không đây; trí tuệ nhân tạo, máy học, học viên đã xây dựng đưa ra mô hình máy học vào

hệ thống Kết quả trong luận văn đạt được từ sự cố gắng của học viên mặc dù còn nhiều

hạn chế trong lĩnh vực điện tử viễn và kinh nghiệm thực tiễn

Học viên xin trân trọng và cám ơn thầy TS.Lâm Đức Khải, đã định hướng đề

hướng dẫn học viên nghiên cứu và thực hiện luận văn này Dù rất bận nhưng Thầy vẫndành thời gian để đóng góp ý kiến, nhận xét chỉ tiết, chỉnh sửa để nội dung báo cáo đượcchỉnh chu hơn Thầy thường xuyên động viên, nhắc nhở đề học viên sớm hoàn thành côngtrình nghiên cứu Các nội dung góp ý, định hướng của thay đã giúp học viên có được sự tựtin, và trách nhiệm hơn với kết quả đã nghiên cứu

LỜI CAM ĐOAN

Học viên xin cam đoan dé xuất các mô hình máy học vào hệ thống truyền thôngkhông day là kết quả của sự né lực và có gắng của học viên kết hợp với sự hướng dẫn củathầy TS.Lâm Đức Khải Ngoài ra, trong báo cáo này có sử dụng nhiều thuật ngữ chuyên

ngành, các tài liệu tham khảo đã được trích dẫn theo quy định Học viên xin chịu mọi trách

nhiệm về nội dung nghiên cứu và trình bày của học viên

Người cam đoan

Nguyễn Lê Toàn Yến Linh

1.3 Những nghiên cứu liên quan đê tài

1.4 Bố cục đề tài

Chương 2 TONG QUAN VE HE THONG TRUYÈN THONG KHÔNG DA

2.1 Sự ra đời và phát triển của hệ thống MIMO

2.2 Quá trình truyền và nhận dữ liệu trong mạng MIMO - Multiple input

multiple output

2.3 Kỹ thuật OFDM - Orthogonal frequency division multiplexing

2.4 Hệ thống MIMO - OFDM

2.4.1 Thong tin chung

2.4.2 Vấn đề PAPR (Peak to average power ratio) cao

Chương 3 CAC KỸ THUAT XỬ LÝ TÍN HIEU TRUYEN THÓNG 28

3.1 Kỹ thuật ZF

3.3 Kỹ thuật MLD.

3.4 Thuật toán ước tính kênh truyền Least Square

3.5 Kết qua mô phỏng hệ thống MIMO (ZF/MMSE/MLD)

Chương 4 MẠNG NƠ-RON NHÂN TẠO

4.1 Tổng quát

4.2 Các hàm kích hoạt

4.3 Quá trình huấn luyện

4.3.1 Chỉ tiết quá trình lan truyền tiến (Forward propagation)

4.3.1 Chi tiết quá trình lan truyền ngược (Backward propagation) 38

Chương 5 ĐÈ XUẤT MÔ HINH MAY HỌC TRONG HỆ THONG TRUYEN

THÔNG KHÔNG DÂY

5.1 Mô hình DNN loại

5.2 Mô hình DNN loại II

5.3 Mô hình DNN loại IIL.

5.4 Kết qua mô phỏng MIMO-OFDM có sử dụng DNN + 495.4.1 Kết quả MIMO-OFDM 2x2

Hình 2.11 Hệ thống MIMO-OFDM thông thường

Hình 2.12 Quá trình truyền nhận dưới dạng phương trình của MIMO-OFDM

Hình 2.13 Mô tả việc tín hiệu bị loại bỏ đỉnh ở nhiều mức khác nhau

Hình 4.5 Công thức và biểu đồ của hàm Sigmoid

Hình 4.6 Mô tả của hàm Softmax

Hình 4.7 Mô tả chỉ tiết các thông số giữa 2 lớp nơ-ron

Hình 5.1 Mô hình máy thu MIMO OFDM loại I được đề xuất on

Hình 5.6 Mô hình máy thu MIMO OFDM loại III được đề xuất

Hình 5.7 Chi

Hình 5.8 Chi tiết mô hình DNN trong mô hình máy thu MIMO OFDM 4x4 loại II 49

Hình 5.9 Kết quả mô hình MIMO OFDM 2x2 - ZF 5dB

Hình 5.10 Kết quả mô hình MIMO OFDM 2x2 - ZF 7dB

Hình 5.11 Kết quả mô hình MIMO OFDM 2x2 - MLD 5dB

Hình 5.12 Kết quả mô hình MIMO OFDM 2x2 - MLD 7dB

Hình 5.13 Kết quả mô hình MIMO OFDM 4x4 - ZF 5dB

Hình 5.14 Kết quả mô hình MIMO OFDM 4x4 - ZF 7dB

Hình 5.15 Kết quả mô hình MIMO OFDM 4x4 - MLD 5dB

Hình 5.16 Kết quả mô hình MIMO OFDM 4x4 - MLD 7dB

DANH SÁCH CÁC BẢNG

Bang 1 Số lượng các mô hình DNN loại I

Bảng 2 Số lượng các mô hình DNN loại II

Bang 3 Thông số đào tạo các mô hình DNN của hệ thống MIMO OFDM 2x2 50Bảng 4 Thông số đào tạo các mô hình DNN của hệ thống MIMO OFDM 4x4 51

DANH MỤC THUẬT NGỮ VIET TAT

Viết tắt Viết đầy đủ

AI Artificial intelligence

DL Deep learning

CNN Convolutional neural network

DCNN Deep convolutional neural network

DNN Deep neural network

AWGN Additive white Gaussian noise

FPGA Field-programmable gate array

DSP Digital signal processing

PA Power amplififer

PAPR Peak to average power ratio

CL Clipping level

CR Clipping ratio

FFT Fast fourier transform

IFFT Inverse fast fourier transform

LS Least square

SISO Single input single output

SIMO Single input multiple output

MISO Multiple input single output

MIMO Multiple input multiple output

OFDM Orthogonal frequency division multiplexing OSI Open Systems Interconnection

ZF Zero-forcing

MLD Maximum likelihood detection

MMSE Minimum mean square error

MSE Mean square error

MU Multi-user

QAM Quadrature amplitude modulation.

Viết tắt Viết đầy đủ

RMS Root mean square

SISO Single input single output SNR Signal to noise ratio

MỞ DAU

Hệ thống truyền thông không dây (mạng không dây) không ngừng thay dé lặt

ra rất nhiều yêu cầu liên quan đến các kỹ thuật thông minh đề xử lý tín hiệu truyền nhậntín hiệu số trong các tình huống khác nhau Để đạt được hiệu suất tốt hơn, tốc độ dữ liệu

và dung lượng cao hơn với độ trễ thấp nhiều môi trường khác nhau cần có sự đóng góp từ

các lĩnh vực đa ngành.

Đồng thời, trong thời đại dữ liệu lớn, việc đánh giá và thiết kế hệ thông không dây,các ứng dụng của máy học (Machine Learning) trong truyền thông không dây Chúng tacũng hy vọng rằng máy học sẽ cung cấp và hỗ trợ chúng ta tìm ra được giải pháp mới chothiết kế hệ thông phức tạp Ứng dụng AI có thể là công cụ hỗ trợ đối với mô hình kênh vôtuyến, ước tính kênh và phát hiện tín hiệu, quản lý mạng và cải thiện hiệu suất, kiểm soáttruy cập, phân bồ tài nguyên Điều đó sẽ giảm chi phí và xây dựng, cải thiện xử lý, cải thiệnđược hiệu suất so với các bộ xử lý truyền thống

Thực tế, AI (Artificial intelligence) mà cụ thể là sử dụng DNN (Deeplearning neuralnetwork), CNN (Convolutional neural network) vào hệ thống không dây đang được quan

tâm.

Những giải pháp đưa mô hình máy học dựa kênh truyền và phân loại tín hiệu củacác mạng không dây tại máy thu là nghiên cứu mới, khó, do kết quả hiện tại rất sơ khai vàđược tìm hiểu mô phỏng đối với các mô hình gần giống với thực tế

Từ các kiến thức về máy học, kỹ thuật xử lý tín hiệu truyền thống bằng công thức

toán học học viên đã xây dựng được các mô hình máy học vào nhận diện, xử lý tín hiệu

không dây, bước đầu chứng minh khả năng ứng dụng vào thực tiễn mặc dù kết quả môphỏng chưa thật sự tối ưu và chính xác

Chương 1 GIỚI THIỆU TONG QUAN VE ĐÈ TÀI NGHIÊN CỨU

Tóm tắt: Chương 1 sẽ là chương giới thiệu tong quan vẻ nội dung nghiên cứu về về

AI, DL trong các mạng không dây kêt hop kỹ thuật xử lý tín hiệu truyền thống

(ZF/MMSE/MLD).

1.1 Tên đề tài

Nghiên cứu áp dụng mô hình máy học vào mạng không dây - MIMO-OFDM (Research on application of deep learning in wireless communication systems — MIMO- OFDM)

1.2 Mục tiêu dé tài

Xuất phát từ các kết quả nghiên cứu ứng dụng AI vào xử lý tín hiệu sé, học viên

đã xác định các mục tiêu sau:

- Tim hiểu, nghiên cứu đề xuất các mô hình máy học (Deep learning) với hy vọng

rằng các mô hình đó có khả năng cải thiện chất lượng của hệ thống tại máy thu OFDM ở hai kiến trúc là 2x2 và 4x4

MIMO Mô phỏng hệ thống MIMOMIMO OFDM có mô hình DNN (Deep neural network) vớicác kỹ thuật xử lý tín hiệu truyền thông không dây truyền thống (ZF, MMSE, MLD)

1.3 Những nghiên cứu liên quan đề tài

Việc tích hợp các kỹ thuật ZF [1] và MMSE [2] Hai phương pháp này mang đến

phương pháp tính toán đơn giản tuy nhiên vẫn đảm bảo tỉ lệ lỗi bit (Bit Error Rate - BER)

tại đầu thu vẫn ở mức có thể chấp nhận được Nhằm mục đích cải thiện BER tại đầu thu,phương pháp MLD đề xuất trong [3]

Tai một thời điểm đối với hệ thống MIMO, trên một kênh truyền chỉ một Access

Point (AP) và một Station (STA) có thê giao tiếp với nhau Mặc dù vậy, để tăng tốc độtruyền dữ liệu, có thể có nhiều antenna được sử dụng trên mỗi AP cũng như STA và khi

đó, trong cùng một thời điểm, những antenna này có khả năng truyền các luồng dữ liệuhoàn toàn khác nhau từ AP đến STA Tuy nhiên, tín hiệu truyền có thể giống nhau trênnhững antenna khác nhau Điều này nhằm cải thiện sự sai lệch tín hiệu do tác động củanhiễu hay đề tăng tốc độ truyền dữ liệu bằng cách ghép kênh (Spatial Multiplexing Gain)

Zero-forcing (ZF): sử dụng để khôi phục các tín hiệu nhận được tại máy thu Trongtrường hợp này, các tín hiệu sẽ được giả định rằng không có nhiễu nào xảy ra trong quátrình truyền dữ liệu trong không gian giữa thiết bị phát và thu tín hiệu.

Minimum mean square error (MMSE): Kỹ thuật ước lượng sai sô bình phương trung

bình tối thiểu là một phương pháp ước tính giúp giảm thiéu sai số bình phương trung bình(MSE), là thước đo phổ biến về chất lượng của công cụ ước tính, của các giá trị phù hợpcủa một biến phụ thuộc

Maximum Likelihood Decoder (MLD): tính toán khoảng cách Euclid giữa vectơ tín

hiệu nhận được và tích của tất cả các vectơ tín hiệu truyền có thể có với kênh H đã cho để

nhận được giá trị gần đúng của tín hiệu Nhờ đó giá trị BER đối với hệ thống OFDM sử dụng kỹ thuật xử lý MLD là tốt hơn ZF, MMSE nhưng độ phức tạp của hệ thông

MIMO-là rất lớn do MLD phải kiểm tra tắt cả các trường hợp có thể có của tín hiệu đề cho ra đượckết quả chính xác nhất

Bên cạnh, AI (Artificial Intelligence) đã được ứng dụng trong xử lí ảnh [4], giao

tiếp tín hiệu không dây [5], xử lí ngôn ngữ tự nhiên [6], Trong lĩnh vực giao tiếp tínhiệu không đây đã cho thấy việc ứng dụng AI có thể cải thiện hiệu suất cũng như đơn giảnhóa bộ xử lý truyền thống

Mở đầu cho xu hướng áp dụng AI vào các hệ thống giao tiếp tín hiệu không dây,

trong [7] tác giả đã sử dụng DL (Deep learning) Cụ thê hơn, mô hình DNN (Deep neural

network) đã được đưa vào hệ thống giao tiếp tín hiệu không dây sử dụng SISO-OFDM(single input single output OFDM) đề thay thế gần như toàn bộ hệ thống xử lí tại máy thu

được thể hiện trong Hình 1.1 mà vẫn giữ được các giá trị BER Một điểm mạnh của thiết

kế trong [7] là mô phỏng truyền nhận dữ liệu trong không gian là phi tuyến tính và sát với

thực tế Tuy nhiên, một yếu điêm khá rõ ràng của thiết kế trong [7] là thực hiện trên hệthống SISO-OFDM và không phù hợp nữa khi được ứng dụng vào hệ thống lớn hơn là

MIMO-OFDM.

Yp: Tín hiệu pilot sau khi thực hiện DFT Conventional SISO

Yd: Tin hiệu dữ liệu sau khi thực hiện DFT OFDM receiver

Hình 1.1 Thiết kế cải tiến của hệ thống SISO OFDM trong [7]

Đối với hệ thống MIMO mô tả trong [8]-[10] đã sử dụng AI để thay thé cũng nhưcải thiện hiệu suất khôi phục tín hiệu của hệ thống máy thu thông thường Cụ thể trong [8],

máy thu được thay thế bằng các mô hình DNN, CNN (hình 1.2), kết quả các giá trị BER

không bị suy giảm mà còn tốt hơn so với kỹ thuật xử lý tín hiệu truyền thống

Fully connected + Softmax =

DNN based MIMO receiver

Đối với [9] và [10], mô hình DCNN (Deep convolutional neural network) được

đó Để khắc phục tác giả dùng phương pháp loại bỏ các đỉnh của tín hiệu Khi tín hiệu bịloại bỏ các đỉnh tại các điểm xảy ra tính trạng PAPR cao thì vấn đề về PAPR cao sẽ đượckhắc phục Tuy nhiên, đặc tính của tín hiệu vẫn bị ảnh hưởng do việc tín hiệu bị tác độngbởi việc loại bỏ các đỉnh Và AI được áp dụng cũng để khắc phục điều này khi có gắngkhôi phục lại phần tín hiệu bị tác động bởi việc loại bỏ các đỉnh tại máy thu Trong [11],

ngoài hai mô hình được đề xuất đề cải thiện hiệu xuất bằng cách thêm mô hình DNN vào

để thay thế khối Demapping thì mô hình DNN có thẻ thay thế các khối như Channelestimator, Signal Detector, Demapping dé xác định tín hiệu nhận và giúp đơn giản hóa máy

thu Kết quả các kiến trúc được đề xuất có BER tốt so với máy thu truyền thống, nhưng hệ

thống chỉ sử dụng kiến trúc 2x8

S: Đầu ra của khối Signal detector

Yp: Tin hiệu pilot sau khi thực hiện FFT | Yp—>

Yd: Tín hiệu dữ liệu sau khi thực hiện FFT | Ya—> >

Xp: Tín hiệu pilot tại máy phát đã biết trước | Xp ——*

2" proposed MIMO OFDM receiver

Hình 1.5 Các mô hình MIMO OFDM được dé xuất trong [11]

Dựa vào các nghiên cứu về việc ứng dụng AI vào xử lý tín hiệu số cùng với sựphát triển không ngừng của hệ thông truyền thông không dây, học viên đã tìm hiểu, nghiêncứu đề xuất các mô hình DNN nhằm cải thiện chất lượng của hệ thống tại máy thu MIMO-OFDM ở hai kiến trúc là 2x2 và 4x4 Đồng thời, thực hiện mô phỏng hệ thống MIMO-OFDM để so sánh các giá trị BER (Bit error rate) của hệ thống MIMO-OFDM có sử dụng

mô hình DNN (Deep neural network) với các kỹ thuật xử lý tín hiệu truyền thông khôngdây truyền thống (ZF, MMSE, MLD)

1.4 Bố cục đề tài

Báo cáo gồm 06 (sáu) chương, cụ thể như sau:

- Chương 1: Giới thiệu tổng quan về đề tài nghiên cứu

Là chương giới thiệu tong quan về nội dung nghiên cứu về AI, DL và việc ứng dụngcác mạng không dây cùng với các kỹ thuật xử lý tín hiệu truyền thống (ZF/MMSE/MLD)

- Chương 2: Tổng quan về mạng không dây

Giới thiệu tổng quan về mạng không dây làm cơ sở đề tìm hiểu, nghiên cứu trong

chương 5.

- Chương 3: Kỹ thuật xử lý tín hiệu truyền thống trong hệ thong

Trinh bày tóm tắt các kỹ thuật xử lý tín hiệu truyền thống ZF/MMSE/MLD trong

mạng không dây và mô phỏng hệ thống MIMO-OFDM với các trường hợp số lượng

Trinh bày về lý thuyết mạng nơ-ron nhân tạo, các thành phan và quá trình training.

- _ Chương 5: Đề xuất mô hình máy học trong hệ thống truyền thông không dây

Trình bày các mô hình máy học và kết quả mô phỏng mô hình MIMO-OFDM cho

các trường hợp số lượng antenna tại máy phát và máy thu là 2x2 và 4x4

- Chương 6: Kết luận và hướng phát triển

Tom tắt toàn bộ kết quả nghiên cứu và dé ra các hướng phát triển tiếp theo

TIỂU KET CHƯƠNG 1

Từ các nghiên cứu về AI, DL trong các mạng không dây kết hợp kỹ thuật xử lý tinhiệu truyền thong ZF/MMSE/MLD học viên đã nghiên cứu, tìm hiểu hoàn thiện dé tài với

mục tiêu đề xuất được các mô hình DNN (Deep neural network) vào hệ thống

Chương 2 TONG QUAN VE HE THONG TRUYEN THONG KHÔNG DAY

Tóm tắt: Từ ý tưởng sẽ ứng dung máy học vào mạng không dây được trình bày ởchương 1 thì chương 2 sẽ là chương giới thiệu tổng quan về mang không day

2.1 Sự ra đời và phát triển của hệ thống MIMO

MIMO là hệ thống sử dụng nhiều antenna thu phát đồng thời hoạt động dé truyềnnhận dữ liệu Kỹ thuật MIMO nâng cao chất lượng tín hiệu nhận, tốc độ truyền dữ liệu

Theo hãng Broadcom, công nghệ WIFI và việc ứng dụng MIMO được trình bày như Hình 2.1.

MIMO được phát triển từ hệ thống SISO (Single Input Single Output), sau đódần phát triển lên thành SIMO, MISO và MIMO đề cải thiện hiệu năng truyền nhận tín

hiệu khi sử dụng nhiều antenna ở máy thu, máy phát

MIMO: Multi Input Multi Output MU-MIMO: Multi-User MIMO 2* Generation

Hình 2.1 Quá trình phát triển

Trong giao tiếp không dây tùy thuộc vào số lượng antenna, chúng ta có 4 hệ thông

Hình 2.2 Các hệ thống truyền thông không dây

SISO — Single input single output (Hình 2.5) là hệ thống chi sử dụng một antenna

SIMO (Single Input Multiple Output) là hệ thống sử dụng một antenna phát và nhiều

antenna thu (Hình 2.6) Bên máy thu có thê sử dụng các ký thuật xử lý tín hiệu, ước lượng

MISO (Multiple Input Single Output) là hệ thống sử dụng nhiều antenna phát vàmột antenna thu (Hình 2.7) Khi bên phát biết được thông tin kênh truyền có thể được xácđịnh gần đúng theo biểu thức sau:

C = log2(1+N.SNR) bit/s/HZ

) —

) —_ MISO =

Hình 2.5 Hệ thống MISO

MIMO - Multiple input multiple output: là hệ thống sử dụng nhiều antenna tại cả

bên phát và bên thu

C = min (NT,NR).logz(1+SNR) bit/s/HZ

Trong đó, Logz(X) là log cơ số 2 của X

NT là antenna phát, NR là số antenna thu

Từ đó giải thích được vì sao MIMO có số antenna thường là 2x2, 4x4 Ví dụ: ta

dùng 2x4, 2x8 antenna thì khi đó, giá trị hiệu năng luôn là min (2, 4) = 2; min (2,8) = 2,

điều này cho thấy tác dụng 2x4 và 2x8 không cao hơn 2x2 Vì vậy, số antenna thu phátbằng nhau sẽ giúp hệ thống tối ưu hơn, có thể giảm chi phí lắp ráp lẫn kích thước của thiết

bị Đây cũng là lý do mà trong những mô phỏng về sau, nhóm sẽ sử dụng hệ thống với

2x2, 4x4 antenna.

2.2 Quá trình truyền và nhận dữ liệu trong mạng MIMO - Multiple input

Hình 2.7 Quá trình truyền nhận dưới dang phương trình của MIMO

Trong Hình 2.7 biéu diễn truyền dữ liệu, nhận dữ liệu giữa máy phát, máy thu dướidạng phương trình để có cái nhìn rõ ràng hơn Cụ thé sẽ được phác hoa bằng công thức

học Hor + họ Xo No

piso hạ 7 _- x ny

dưới day:

Ỳ, Yi

5

+

Yr hro hạ cm đụ Xt Ny.

Trong đó, [Yo 1 Vel biểu diễn vectơ của tin hiệu nhận với r ăng ten, ma trân h

biểu diễn thông tin kênh truyền, [xọ, x1, , Xt] biểu diễn vectơ của tín hiệu phát, [nọ, mạ,

n;] biểu diễn nhiễu tác động lên các tín hiệu nhận tai máy thu

tại máy thu có thể khôi phục tốt hơn khi xảy ra mắt mát khi truyền tín hiệu trong không

gian Sau đó tín hiệu được đi qua khối Modulation đề tiến hành điều chế tín hiệu Cuối

cùng, tín hiệu tại máy phát sẽ được xử lý Space-Time để giúp tín hiệu tại máy thu có thể

khôi phục lại từ tín hiệu nhận từ các antenna Quá trình xử lí tín hiệu nhận tại máy thu được thực hiện ngược lại.

- Ưu điểm:

+ Tăng dung lượng kênh truyền dẫn đến tăng tốc độ

+ Tăng cường khả năng chống lại hiện tượng fading+ Loại bỏ nhiễu

- Hạn chế: Chi phí thiết bị cao (do sử dụng nhiều antenna thu phát, cùng các bộ vi

xử lý chuyên dùng).

2.3 Kỹ thuật OFDM - Orthogonal frequency division multiplexing

OFDM là kỹ thuật phân tích các kênh theo tần số trực giao: chia dữ liệu ban đầuthành nhiều dòng dit liệu với tốc độ thấp hơn

Mỗi dòng dữ liệu truyền đi là một sóng mang dữ liệu điều chế theo phương pháp

trực giao

Tại máy thu, dữ liệu cũng được phân tách thành các luồng có tốc độ thấp Sóngmang con được loại bỏ đề đạt được các luồng tín hiệu gốc Sau cùng luồng dữ liệu ban đầuđược tổng hợp lại.

AAAAAAAAAAAAAAAR \

VU |

Wvwvwww: »®

Hình 2.9 Hình anh minh họa các sóng sin trực giao với nhau khi kết hợp

Ưu, nhược điểm

- Ưu điểm: Tiết kiệm băng thông, loại bỏ nhiễu liên kí tự (Intersymbol Interference)

nhờ khoảng bảo vệ (Guard interval), kha năng truyền tín hiệu tốc độ cao, độ phức tạp thấp.

- Nhược điểm: Vấn đề về PAPR cao, bị tác động từ hiệu ứng Doppler, giảm hiệusuất truyền thông tin do phải chứa khoảng bảo vệ (CP)

IFFT BỊ AddCP E|rs [^]- aL

May phat SISO OFDM

Tai máy thu quá trình sẽ tương tự như bên máy phát nhưng được đảo ngược lại đểkhôi phục tín hiệu Và ngoài ra còn có thêm khối Channel estimation thực hiện việc ướctính thông tin kênh truyền để phục vụ cho việc khôi phục tín hiệu trong khối Equalize vàđược tính bằng biểu thức:

Y(n) = X(n)H(n) + W(n) 'Y(n) là tin hiệu nhận từ máy thu,

X(n) là tín hiệu được gửi đi từ máy phát,

H(n) là thông tin kênh truyền,W(n) là yêu tố nhiễu và n biéu thị cho số thứ tự sóng mang con

2.4 Hệ thống MIMO - OFDM

2.4.1 Thông tin chung

- MIMO giúp tăng tốc độ truyền dữ liệu mà vẫn giữ được độ tin cậy cao, giảm đáng

chính xác hơn Dữ liệu phát sẽ được chia thành dòng dữ liệu nhỏ theo một thuật toán cho

trước, các dòng dữ liệu chia nhỏ được sử dụng phương pháp phân chia theo tần số trựcgiao, trước khi được đưa đến các antenna tương ứng và truyền đi Bên thu sẽ cũng nhậncác dòng dữ liệu nhỏ từ nhiều antenna, sau đó dùng các thuật toán phù hợp đề tổng hợp lạidong dữ liệu ban dau

Máy phát MIMO OFDM

Nguyên lý hoạt động MIMO-OFDM

- Máy phat (transmitter): trước tiên, dữ liệu đầu vào (có tốc độ cao) được phân táchthành nhiều dòng dữ liệu song song có tốc độ thấp hơn thông qua bộ phận chuyền đổi nồitiếp/song song (S/P - Serial/Parallel) Các dong dữ liệu đạt được sau đó được đưa qua cụm

mã hóa và điều chế (modulation) để mã hoá dữ liệu thành những tín hiệu (symbol) Tiếp

theo, những symbol này được chuyển qua cụm biến đổi IFFT đề đạt được đặc trưng trựcgiao của các sóng mang con Do tín hiệu được truyền trên các kênh di động vô tuyến đa

đường nên sau khi qua bộ IFFT nó sẽ được chèn thêm khoảng bảo vệ CP (Cyclic Prefic)

để giảm nhiễu xuyên ký tự ISI (inter symbol interference) và được chuyền đồi về dạng dữ

liệu nối tiếp thông qua bộ chuyền đổi song song/ndi tiếp (P/S) vào bộ khuyết đại PA (Power

Amplifier) và được phát đi trong không gian

- Máy thu (reciever): đây là quá trình ngược lại với việc phát sóng Tín hiệu RF thu

được trong không gian qua bộ chuyển đổi song song/nối tiếp (P/S) Sau đó, tín hiệu được

loại bỏ khoảng bảo vệ CP, vào bộ biến đổi FFT và chuyền đổi trở về dạng dữ liệu nối tiếp

bằng bộ chuyển đổi nói tiếp/song song (S/P) Tiếp theo, các symbol thu sẽ được xử lý thông

qua khối Signal Detector (bao gồm các kỹ thuật ZF/MMSE/MLD) kết hợp với khối ước

lượng kênh truyền (Channel Estimation) Sau đó tín hiệu được đưa vào khối xử lý dữ liệu

và điều chế (demodulation) dé xác định nhận được dữ liệu nhận ở máy thu

Hình 2.12 Quá trình truyền nhận dưới dang phương trình của MIMO-OFDM

Trong Hình 2.16 biêu diễn việc truyền dữ liệu, nhận dữ liệu giữa máy phát và máythu dưới dạng phương trình để có cái nhìn rõ ràng hơn Cụ thể sẽ được phác họa bằng công

Trong đó, [yo, ¥1, , Yr] biểu diễn vecto của tín hiệu nhận với r ăng ten, ma trận h

biểu diễn thông tin kênh truyền, [xọ, xạ, , Xt] biểu điễn vectơ của tín hiệu được phát đi

từ máy phát với t Ang ten và cuối cùng là [nọ, mị, , nt] biểu diễn nhiễu tác động lên các

tín hiệu nhận được tại máy thu.

Nhờ việc sử dụng nhiều antenna, hệ thống MIMO-OFDM cũng mang lại nhiều ưu,

nhược điểm.

- Ưu điểm: tăng độ tin cậy của dữ liệu tại máy thu, giảm BER, tăng phạm vi truyềntải của hệ thống trong không gian,

2.4.2 Vấn đề PAPR (Peak to average power ratio) cao

MIMO-OFDM là hệ thống có lượng dữ liệu được truyền tải cao, hiệu quả và sẽ có

độ tin cậy cao hơn và cũng làm tăng tốc độ truyền dữ liệu do đặc điểm của MIMO vàOFDM Tuy nhiên, hạn chế là vẫn bị ảnh hưởng bới vấn đề PAPR cao, đặc biệt là vấn đềkhi bộ PA (Power Amplifier) với vùng hoạt động thấp ở đầu cuối RF của máy phát

Vấn đề PAPR cao xuất hiện trong hệ thống MIMO-OFDM do một lượng lớn sóngmang con được kết hợp thông qua quá trình biến đổi IFFT và từ đó làm suất hiện các đỉnh

tín hiệu có giá trị lớn.

Khi xảy ra hiện tượng PAPR cao: bộ PA hoạt động trong vùng phi tuyến tính dẫnđến tín hiệu tại đầu ra bị tác động sai lệch Và từ đó tín hiệu truyền đi không còn chính xáchoàn toàn dẫn đến tín hiệu tại máy thu cũng bị sai lệch Giá trị của PAPR tỷ lệ thuận với

kích thước của mô hình MIMO-OFDM.

Đề loại bỏ PAPR cao trong quá trình tạo ra tín hiệu cần truyền đi tại máy thu, cónhiều phương pháp như Clipping and Filtering, PAPR Reduction Code, Selective

Mapping, Partial Transmit Sequence, Tone Reservation, Tone Injection, DFT Spreading.

Nhung phương pháp đơn giản nhất là cắt đỉnh của tín hiệu (Clipping) tai những điểm có

PAPR cao trước khi đi qua bộ PA dé đảm bảo rằng bộ PA sẽ hoạt động trong vùng tuyến

tính (Hình 2.17) và các tín hiệu Snewạa; được trình bày trong công thức phía dưới Tuy

nhiên, tín hiệu ban đầu cũng sẽ bị ảnh hưởng và sau đó gây ra hiện tượng nhiễu đối với tín

hiệu phát.

=— Đỉnh

Loại bỏ đỉnh mức 2 Loại bỏ đỉnh mức 2 Loại bỏ đỉnh mức trung bình

Độ lớn

Hình 2.13 Mô tả việc tín hiệu bị loại bỏ đỉnh ở nhiều mức khác nhau

CL nếu Sq) = CL Snewạn = 4 S),nếu — CL < Sry < CL

~CL, nếu Sq) < CL

CR=

a

Trong đó SneWny Và S() lần lượt là tín hiệu sau và trước khi được loại bỏ các

đỉnh, CL (Clipping level) là mức loại bỏ, CR (Clipping ratio) tỉ lệ loại bỏ, o là RMS

(Root mean square) power của tín hiệu Ví dụ, nếu CR = 1, nó có nghĩa là tín hiệu bị loại

bỏ các đỉnh ở mức công suất RMS Hoặc nếu CR = 2.24, chúng ta có thé nói rang CL caohơn khoảng 7đB so với mức công suất RMS

TIỂU KET CHUONG 2

Với các nội dung trình bày trong chương này, nhóm đã giới thiệu tong quan về mang

không dây, dé lấy đó làm cơ sở lý thuyết cho quá trình tìm hiểu, nghiên cứu các nội dung

chính của luận văn.

Chương 3 CÁC KỸ THUẬT XỬ LÝ TÍN HIỆU TRUYÈN THÓNG

Tóm tắt: Mạng không dây không ngừng phát triển bắt đầu từ năm 1997 Đến nayvới tốc độ truyền tải của mạng không dây ngày càng cao, đề đạt được hiệu suất tốt với tốc

độ truyền dữ liệu và dung lượng cao thì các kỹ thuật xử lý tín hiệu mạng không dây truyềnthống (ZF/MMSE/MLD) đã được sử dụng Trong chương này sẽ trình bày tóm tắt các kỹ

thuật xử lý tín hiệu truyền thống.

3.1 Kỹ thuật ZF

Là một phương pháp được sử dụng để khôi phục các tín hiệu nhận được tại máy thu.Trong trường hợp này, các tín hiệu sẽ được giả định rằng không có nhiễu nào xảy ra trongquá trình truyền dữ liệu trong không gian giữa máy phát và máy thu

"Trong thuật toán ZF, các tín hiệu đã truyền S(n) được khôi phục bằng cách nhân cáctín hiệu nhận được Y(n) với nghịch đảo của ma trận kênh truyền Wor = (H#H)-1H# va

được trình bày như phương trình bên dưới:

Y(n) = HS(n) + W(n)

WzrY(n) = Wzp HS(n) + WzrpW(n)

W;zY(n) = S(n) + WzpW(n)

=> Vor = W;rY(n)

Trong đó HỶ là phép tính conjugate transpose và các phép nhân được sử dụng ở đây

là các phép nhân ma trận thông thường.

Ưu điểm: việc thực hiện khá đơn giản và độ phức tap tính toán rất thấp (Nhiễu được

giả định là không tồn tại) Do đó, hạn chế của ZF là hiệu quả đò tìm tín hiệu không cao

3.2 Kỹ thuật MMSE

Đối với thuật toán MMSE sẽ có một chút khác biệt so với ZF khi mà yếu tố nhiễu

đã được xét đến dé có thé loại bỏ một cách tương đối, các tín hiệu đã truyền S(n) được khôi

phục bằng cách nhân các tín hiệu nhận được Y(n) với nghịch đảo của ma trận kênh truyền

=> Yumse = Wumse Y()Trong đó yếu tổ p là giá tri SNR và I là ma tran đơn vị tương ứng với sô lượng ang

ten tại máy phát.

Nhờ vào việc quan tâm đến yếu tố nhiễu, thuật toán MMSE đã giúp cải thiện BERnhiều so với phương pháp ZF Tuy nhiên vì tính chất thuật toán vẫn khá đơn giản nên hiệusuất khôi phục tín hiệu vẫn chưa cao (chưa đạt tới mức BER lí tưởng vì nhiễu chưa được

Yu,p = arg minyecy |[Y — HX||?

Trong đó, || ||? là frobenius norm, C và M lần lượt là tập hợp các symbol có thé

có và số lượng antenna tại máy phát

Mặc dù đã đạt được kết quả về BER rất tốt so với hai thuật toán ZF va MMSE nhưnghạn chế của MLD là phức tap trong tính toán, thời gian dé khôi phục tín hiệu lâu hơn so

với ZF va MMSE Điều này xảy đến là do MLD phải kiểm tra tat cả các trường hợp có thé

có của tín hiệu để nhận được kết quả chính xác nhất

3.4 Thuật toán ước tính kênh truyền Least Square

Các bộ ước tính kênh truyền trong các mạng không dây có chức năng tạo ra các giátrị về môi trường truyền tín hiệu thông qua các tín hiệu Pilot thu được Từ đó giúp việc

khôi phục tín hiệu trở nên dé dàng, hiệu quả hơn Trong đó thuật toán Least Square (LS)

được sử dụng nhiều do tính đơn giản của giải thuật

Phương pháp ước tính kênh LS tim cách ước tính kênh truyền Ï theo cách sao chohàm chỉ phí sau được tối thiểu hóa:

JŒ) =||Y — XRỊỶỶ

=(Π- Xf)"Π- XA)

2) = =2(XHY) +2(XEXR) =0

=> X4XA =XửY

Từ đó chúng ta rút ra được công thức của thuật toán LS như sau:

As = (X"X)"!1XHY = X-ty

3.5 Kết quá mô phóng hệ thống MIMO (ZF/MMSE/MLD)

Với việc hệ thống lại các nghiên cứu liên quan đến kỹ thuật xử lý tín hiệu truyềnthống trong mạng không dâycùng với phân tích ở phần [2.1] của [chương 2] - giải thíchđược vì sao MIMO có số antenna thường là 2x2, 4x4, nhóm nghiên cứu đã mô phỏng mạng

không dâyMIMO-OFDM bằng ngôn ngữ lập trình python — ngôn ngữ lập trình thông dụng

hiện nay với các trường hợp số lượng antenna máy phát và máy thu là 2x2, 4x4 cùng các

thông số sau:

- Số lượng sóng mang con (Subcarrier): 64

- Số lượng pilot: 64

- Sơ đồ điều chế QAM-4 (Quadrature amplitude modulation)

- Môi trường mô phỏng: đa đường truyền rayleigh vơi 15 tap (số lượng tap là số

lượng đường truyền trong môi trường giữa máy phát và máy thu xảy ra các hiện tượng tán

xạ, nhiễu xạ, khúc xạ, của tín hiệu)

Kết quả được thể hiện qua Hình 3.1 và Hình 3.2 (linear đại diện cho tín hiệu tuyến

tính và non-linear đại diện cho tín hiệu phi tuyến tính bị loại bỏ các đỉnh tại các điểm có

PAPR cao — van đề được trình bày chỉ tiết ở [mục 2.9.2] của [chương 2]) đã thể hiện cáckết quả khảo sát trên các mô hình MIMO-OFDM với các bộ phát hiện tín hiệu sử dụng các

thuật toán khác nhau như ZF, MMSE, MLD.

10+ | —&— ZF LS non-linear DSP model 5d8

—#— MMSE LS non-linear DSP model 5dB

—e- ZF LS non-linear DSP model 748

—e- MMSE LS non-linear DSP model 748

you | —®— ZF LS linear DSP model

© MMSE LS linear DSP model

—&— MLD LS non-linear DSP model 5dB

10} —e— ZF LS non-linear DSP model 548

—&— MMSE LS non-linear DSP model 5dB

—e~ ZF LS non-linear DSP model 7d8

—e- MMSE LS non-linear DSP model 748 10} —e- ZF LS linear DSP model

—e— MMSE LS linear DSP model

và MLD Đặc biệt, kết quả của khối Signal detector sử dụng ZF và MMSE gần như bằng

nhau trong mọi trường hợp vì trường hợp được xét đến ở đây là môi trường kênh truyềnRayleigh đa đường truyền với 15 tap Với kết quả của khối Signal detector MLD, các tínhiệu bị loại bỏ các đỉnh ở mức 5dB và 7dB có giá trị BER không tốt bằng các tín hiệu tuyếntính Và với kết quả ZF/MMSE, tín hiệu bị loại bỏ các đỉnh ở 7dB nhận được BER bằngvới tín hiệu tuyến tính (đo kích thước mô hình MIMO OFDM 2x2 không quá lớn và hiệusuất của khối Signal detector sử dung ZF không cao nên giá trị BER của tín hiệu bị loại bo

ở mức 7dB nằm ở Vị trí gần so với các tín hiệu không bị loại bỏ các đỉnh) trong khi tín hiệu

bị loại bỏ các đỉnh ở 5đB nhận được giá trị BER không tốt bằng

Trong hình 3.2, cũng thé hiện sự khác nhau giữa tín hiệu tuyến tính và phi tuyếntính Ngoài ta, chúng ta còn quan tâm đến kết quả mô hình truyền thống bằng cách sử dụng

khối Signal detector sử dụng MLD và ZF/MMSE như mô hình 2x2 MIMO OFDM Va kết

quả của khối Signal detector sử dung ZF và MMSE (trong mô hình MIMO OFDM truyềnthống) cũng xấp xỉ bằng nhau trong mọi trường hợp vì trường hợp được xét đến ở đây làmôi trường kênh truyền Rayleigh đa đường với 15 tap Ngoài ra, chúng ta cũng có thé thayrằng khi sử dụng mô hình MIMO OFDM 4x4 thì kết quả BER đạt được không tốt bằng sovới sử dụng mô hình MIMO OFDM 2x2 do độ phức tạp của hệ thống đã tăng lên

TIỂU KÉT CHƯƠNG 3Việc trình bày tóm tắt các nội dung của kỹ thuật xử lý tín hiệu mạng không dâytruyền thong (ZZF/MMSE/MLD) cùng thuật toán ước lượng kênh truyền Least Square

(LS), nhóm nghiên cứu một lần nữa khăng định ý tưởng thực hiện đề tài “Nghiên cứu áp

dụng mô hình máy học vào mạng không dây - MIMO-OFDM (Research on application of deep learning in wireless communication systems — MIMO-OFDM)” dựa trên cơ sở các

kỹ thuật xử lý tín hiệu mang không dây truyền thong (ZF/MMSE/MLD) Kết quả mô phỏng

hệ thông MIMO-OFDM sử dụng các kỹ thuật xử lý tín hiệu truyền thông (ZF/MMSE/MLD)

với các trường hợp số lượng antenna máy phát và máy thu là 2x2, 4x4 cũng chính là kết

quả để nhóm nghiên cứu dùng dé so sánh hệ thống MIMO-OFDM có sử dụng mô hình

DNN (Deep neural network).

Chương 4 MẠNG NƠ-RON NHÂN

Tóm tắt: Đề thực hiện ý trởng nghiên cứu việc ứng dụng máy học vào hệ thong

truyền thông không dây, trong chương 4 này nhóm nghiên cứu sẽ trình bày vé mạng

nơ-ron nhân tạo, một số khái niệm cũng như các hàm kích hoạt được sử dụng tnơ-rong mô

hình huấn luyện Các nội dung được trình bày sẽ là cơ sở lý thuyết giúp nhóm hoàn

thành việc nghiên cứu, xây dựng và mô phỏng được các mô hình xử lý tín hiệu truyền

thông không dây có ứng dụng trí tuệ nhân tạo.

4.1 Tổng quát

Bộ não của động vật, con người được cầu tạo từ các nơ-ron thần kinh được miêu

tả trong Hình 4.1 Đối với một người trưởng thành, bộ não được cấu tạo từ khoảng 100

tỉ no-ron Giữa các nơ-ron là các liên kết thần kinh dùng dé truyền dẫn thông tin để xử

lý Và bộ não nhận thông tin từ các bộ phận như tay, chân, mắt, múi, tai, và dùngthông tin đó để xử lý và đưa ra một quyết định nào đó Ví dụ khi tay ta chạm vào vậtnóng, thông tin từ tay được gửi đến bộ não và sau khi xử lý xong thông tin thi não quyết

định sẽ rút tay lại.

Hình 4.1 Hình ảnh minh họa cho một nơ ron thần kinh

Dựa trên nguyên tắc bên trên, mạng nơ ron nhân tạo được tạo thành từ mô hìnhtoán học gồm lớp đầu vào (input layer) đóng vai trò như tay, chân, mắt, mũi, , nhiềulớp an (hidden layer) đóng vai trò là bộ não và một lớp dau ra (output layer) đóng vai

Thông số của một mạng nơ-ron bao gồm số lượng lớp ẩn, số node của mỗi lớp

và loại hàm kích hoạt mỗi lớp (trừ lớp đầu vào) Trong mạng nơ ron, các node thuộc

lớp thứ 1+1 mang giá trị sau khi được tính toán (trừ lớp đầu vào thì giá trị của node

chính là đầu vào của mạng) bằng cách thực hiện phép nhân ma trận giữa các node trong

lớp 1 và ma trận các kết node giữa lớp | và lớp 141 (gọi là ma trận trọng số) Sau khi

thực hiện nhân ma trận, các giá trị thu được sẽ được cộng thêm hệ số bias của lớp l+l

và cuối cùng là được tính toán bằng hàm kích hoạt riêng của lớp 1+1 được trình bày chitiết trong Hình 4.2 và Hình 4.3 Đối với mạng nơ-ron được sử dụng là mạng nơ-ron học

có hướng dẫn, cụ thể là kết quả sau khi được tính toán tại lớp đầu ra sẽ được so sánh

với kết quả có sẵn trong quá trình huấn luyện làm co sở dé cập nhật lại các giá trị trọng

số và bias

Các giá trị

Ma trận trọng số >

bias của lớp giữa lớp thứ va

lớp thứ (+1)

Lớp n

thir Lớp hà LỚP Lớpthứ2 Lópthứ(~D Lớp thứ L

voiN ch ¿ thứ | ~ — nốt Lớpđầu (+ Các lớp ẩn Lớp đầu

vào với M

H ra

not

Hình 4.2 Mang nơ-ron 3 lớp ân

Ngoài ra, trong quá trình traning còn có một số khái niệm khác:

~ Dataset: Bộ dữ liệu dùng để traning và test

- Batch (Batch size): là kich thước mẫu dữ liệu dùng trong một lần huấn luyện,

và trong 1 Epoch thì có nhiều Batch

- Epoch: một Epoch được tính là khi chúng ta đưa tất cả dữ liệu trong tập dữ liệuhuấn luyện vào mạng nơ-ron I lần

Vi dụ: Giả sử chúng ta có một bộ dit liệu với 200 mẫu (hàng dữ liệu) và chọn

Batch size là 5 và 1.000 Epochs Điêu này có nghĩa là bộ dữ liệu sẽ được chia thành 40

Batch, mỗi Batch có 5 mẫu Trọng số (weight) các node của mạng nơ ron sẽ được cập

nhật sau mỗi 1 Batch, có nghĩa là 1 Epoch sẽ có 40 Batchs hoặc có 40 lần cập nhật trọng

số (weight) các node của mạng no ron Với 1.000 Epochs, mô hình sẽ được học toàn bộtập dữ liệu 1.000 lần và có tổng số 40.000 Batchs trong toàn bộ quá trình đào tạo

- Learning rate: là tốc độ học của mạng nơ-ron, là yếu tố quyết định việc mô

hình mạng nơ-ron được huấn luyện tốt hay không Giá trị Learning rate có thể thay đổi

tuỳ thuộc vào các giai đoạn huấn luyện dé dat được kết quá tốt nhất

Giá trị trong nốt

Ma trận trọng số Giá trịtrong Các giá trị của lớp thứ (I+l)

giữa lớp thứ l và các nốtcủa bias của lớp trước khỉ tính toánlớp thứ (#1) lop thir] — thứ(#+I) với hàm kích hoạt

(00) (won) (wen (wa) « - WON {

được thể hiện ở phương trình phía dưới và Hình 4.4 Vì tính chất nên ReLU thườngđược sử dụng trong các lớp 4n của mang nơ-ron.

EFeuu(®) = max(0, x)

7 x

Hình 4.4 Công thức và biểu đồ của hàm ReLU

- Sigmoid: Sigmoid là một hàm thống kê dùng dé đánh giá xác suất trong một sựkiện chuẩn Hàm này khá ồn định với dữ liệu đầu vào, nghĩa là một sự thay đổi nhỏ

trong input không dẫn sự thay đổi quá lớn ở kết quả thu được Công thức đầy đủ của

hàm kích hoạt Sigmoid được thể hiện ở phương trình bên dưới và Hình 4.5 Nếu chúng

ta cần đầu ra của hàm kích hoạt được ánh xạ vào khoảng [0, 1] và mang tính xác suất

thì Sigmoid là lựa chọn hoàn toàn phù hợp Và do đó Sigmoid thường được sử dụng tại

lớp đầu ra của mạng nơ-ron

1

ee |

Fsigmoia @=

Hình 4.5 Công thức va biểu đồ của hàm Sigmoid

- Softmax: Softmax là hàm trung bình mũ dùng dé tính toán xác suất xảy ra củamột sự kiện Hàm Softmax sẽ cung cấp cho ta xác suất xãy ra của một class trong tong

số tất cả các class có thể xuất hiện trong mạng nơ ron Sau đó, xác suất này sẽ được sử

dụng để xác định class mục tiêu cho các input Một vài tính chất của hàm Softmax có

thể liệt kê ra như sau: xác suất sẽ luôn nằm trong khoảng [0:1] và tổng tất cả các xác

suất bằng 1 Công thức day đủ mà mô tả của hàm kích hoạt Softmax được thé hiện ở

phương trình bên dưới và Hình 4.6 Hàm Softmax tính toán xác suất của một lớp trêntổng số các lớp Xác suất tính được sẽ giúp quyết định lớp nào sẽ là lớp được lựa chọn

và đặc biệt là tổng các xác suất của các lớp sẽ luôn bằng 1 Vì tính chất này nên Softmax

thường được sử dụng tại lớp đầu ra của mạng nơ-ron

eiFsoftmax (Si) =

Hình 4.6 Mô tả của ham Softmax

4.3 Quá trình huấn luyện

Cụ thé, mô hình DNN sẽ được trình bày về quá trình huấn luyện gồm 2 phần làquá trình lan truyền tiến (Forward propagation) và lan truyền ngược (Back propagation).Trong đó, quá trình lan truyền tiến là quá trình đưa các giá trị mẫu đến đầu vào mô hìnhDNN để đưa ra các giá trị dự đoán tại đầu ra của mô hình DNN Bên cạnh đó, khi quátrình lan truyền tiến thực hiện xong, quá trình lan truyền ngược sẽ tiến hành đưa ra các

am mat mắt.thông số về độ sai lệch của kết quả dự đoán so với kết qua đúng dựa trên

Va từ đó sẽ tiên hành việc chỉnh sửa các giá trị trọng số và các bias dé mô hình DNN

cho ra các giá trị dự đoán chính xác hơn.

4.3.1 Chỉ tiết quá trình lan truyền tiến (Forward propagation)

Để đưa ra được các giá trị tại các lớp thứ n thì chúng ta sẽ tiến hành nhân ma trậncủa lớp thứ (n-1) và ma trận trong số giữa lớp thứ (n-1) và lớp thứ n Sau đó cộng vớicác giá tri bias tương ứng tại lớp thứ n Cuối cùng các giá trị sau khi thực hiện tính toánnhư trên sẽ đi qua hàm kích hoạt dé đưa ra kết quả cuối cùng Hình 4.7 và các phương

MÌ ÌWow Wim ** WNMI [Xn] lbụ

Trong đó, (y0, , yw) là các giá trị sau khi thực hiện tính toán ma trận tại lớp thứ n, (x0, Xm) là các giá trị của lớp thứ (n-1) sau khi tính toán ma trận và hàm kích

hoạt và các giá trị (w, b) là các giá trị trọng số và bias

4.3.1 Chỉ tiết quá trình lan truyền ngược (Backward propagation)

Sau khi thực hiện quá trình lan truyền ngược và có được kết quả dự đoán tại đầu

ra của mô hình DNN, kết quả đó sẽ được sử dụng cũng với kết quả thực tế đã cho trước(đối với phương pháp học có giám sát) đề tính toán giá trị lỗi bằng hàm mắt mát Từ đómỗi trọng số cũng như bias sẽ được cập nhật lại theo các phương trình phía dưới: