báo cáo tiểu luận mạng neuron và ứng dụng trong xử lý tín hiệu

Sử dụng mạng neural nhân tạo Có lẽ lợi thế lớn nhất của mạng neural nhân tạo là khả năng được sử dụng như một cơ chế xấp xi hàm tùy ý mà 'học' được từ các dữ liệu quan sát.. 2.1.1 Học có

TRUONG DAI HOC GIAO THONG VAN TAI PHAN HIEU TAI THANH PHO HO CHi MINH

BAO CAO TIỂU LUẬN

MANG NEURON VA UNG DUNG TRONG XU LY TIN HIEU

Sinh viên thực hiện: Vũ Minh Trí MSSV: 6051020092

Lớp: Kỹ thuật điện tử tin học công nghiệp K60 Khoa: Điện - Điện tử

Người hướng dẫn: Ths Võ Thiện Lĩnh

Sinh viên thực hiện:

Trần Gia Huy Nam, Nữ: Nam

Đặng Phạm Hữu Quyền Nam, Nữ: Nam

Nguyễn Hữu Thọ Nam, Nữ: Nam

Dân tộc: Kinh Lớp: Kĩ thuật điện tử tin học công nghiệp Kó0 Khoa: Điện - Điện tử Năm thứ: 4 Ngành học: Kỹ thuật điện tử tin học công nghiệp Người hướng dẫn: Ths Võ Thiện Lĩnh

Nhận xét của giáo viên cham

Điểm đánh giá:

1p.HCM ngày 08 tháng Ll năm 2022

Giáo viên chấm

(Ký ghi rõ họ tên)

CHUONG 1: CO SO LY THUYET oo eecsceecsseeesseseeessssnneessssreeeesunessreesrunsssnesseiessenee 1

1.1 Tổng quan các khái niệm - 2-1 SE 1E 1121121121111 1121121111 12111 rrrya 1 1.1.1 Mạng neural nhân tạo - :- c S112 221 2121112111121 11211211 11111 21111211111 kky 1 1.1.2 Sử dụng mạng neural nhân fạo - ¿c2 2 2221221111221 112 2111k grey 1 1.2 Thuật toán Perceptrom - c 1 122111212211 111111211121110111 1811181110111 1 1t khe re 2 IV Ghi on 2

1.3 Mạng Perceptron nhiều lép (Multi-layer Perceptron) cccccccccccssssesessesesesseeveseeees 3 1.3.1 Ứng dụng mạng Perceptron nhiều lớp -+ 5c St E21 2211k crret 3 1.3.2 Cau trúc cơ bản của mạng MLP s 5: 5 SE E11 12121 11.11 tt 3 1.3.3 Hàm kích thích ReLU 2c 2212111212112 12111110111 H TH HH HH Hy 4

CHƯƠNG 2: NỘI DUNG BÀI TẬP -: 2c 222222222 tr treo 5

2.1 Thể nào là hoc giam sat va hoc khéng c6 giam sate ccc eeseeeessestsesseesteseeeess 5 2.1.1 Hoc co giam sat (Supervised [earning) - ccc c1 2c Hee 5 2.1.2 Hoc khéng co giam sat (Unsupervised learning) - ¿52c 2c ccccsss¿ 7 2.2 Bài toán Percepftron - - c1 1221112122111 1112112111111 1111 10111 11 H019 key 10 2.3 Mang Perceptron nhiéu 16p cccccccccsscsscssessesesessessesveseesessvsvssnsevsvssvsvsevevsnsevevseees lãi 2.4 Trình bày một ví dụ về mạng nơ ron mà các em đã tiếp cận Phân tích 15

Danh mục hình ảnh Hình 2 1 Chữ VIẾI fđ à cà THEnEEnHEn HH 2g àg 6 Hình 2.2 Tag Friends Gƒ FqcẴebOOĂ Ăn HE KH kh 6 Hình 2.3 Mặt người trong tập huấn luVỆH cScn nnnnHHHhH ưng 7 Hình 2.4 Học không CÓ SIM SỐÍ ằ.Q Ăn HH HH kh 8

Trong thực tế sử dụng, nhiều mạng neural là các công cụ mô hình hóa dữ liệu thống kê phi tuyến Chúng có thê được dùng để mô hình hóa các mối quan hệ phức tạp giữa dữ liệu vào và kết quả hoặc đề tìm kiếm các dạng/mẫu trong dữ liệu

1.1.2 Sử dụng mạng neural nhân tạo Có lẽ lợi thế lớn nhất của mạng neural nhân tạo là khả năng được sử dụng như một cơ chế xấp xi hàm tùy ý mà 'học' được từ các dữ liệu quan sát Tuy nhiên, sử dụng chúng không đơn giản như vậy, và một sự hiểu biết tương đổi tốt về các lý thuyết cơ bản là điều cân thiết

Chọn mô hình: điều này sẽ phụ thuộc vào cách trình bày dữ liệu và các ứng dụng Mô hình quá phức tạp có xu hướng dẫn đến những thách thức trong việc học

Thuật toán học: có rất nhiều sự thỏa thận giữa các thuật toán học Hầu hết các thuật toán sẽ làm việc tốt với các siêu tham số (hyperparameter) đúng đề huấn luyện trên một tập hợp dữ liệu có định cụ thể Tuy nhiên, việc lựa chọn và điều chỉnh một thuật toán để huấn luyện trên dữ liệu không nhìn thấy yêu cầu một số lượng đáng kê các thử nghiệm

Mạnh mẽ: nếu các mô hình, hàm chi phí và thuật toán học được lựa chọn một cách thích hợp, thì ANN sẽ cho kết quả có thê vô cùng mạnh mẽ

1.2 Thuật toan Perceptron Perceptron là m6t thuat toan Classification cho truong hop đơn giản nhất: chỉ có hai class (lớp) (bài toán với chỉ hai class được gọi là binary classification) va cting chi hoạt động được trong một trường hợp rất cụ thể và nền tảng cho một mảng lớn quan trọng cua Machine Learning la Neural Networks va sau nay la Deep Learning (Tai sao lai goi la Neural Networks - ttre mang day than kinh - các bạn sẽ được thấy ở cuối bài) 1.2.1 Giải thuật perceptron

* Các biên tham sô x(n) là vector đầu vào lớp n y(n) là đáp ứng đầu ra w(n) la vector trọng số d(n) la dau ra mong muén 1 Khoi tao: Dat w(0) = 0

2 Kích thích: tại bước tính thứ n, tính sự kích hoạt của tế bào perceptron voi vector vao x(n)

3 Xem xét đầu ra: Tính đáp ứng ra

l w!(n)x(n) > 0

y(n) =

0 wf(n)x(n) <0 4 Cập nhật vector trọng SỐ:

w(n + 1) = w(n) + y[d(n) — y(n) ]x(n) 5 Tinh voi gia tri n tiép theo

; _ ‘ néu x(”) € €, = 0 nếu x(n) € €,

Lặp lại bước 3 4 với tất cả các mẫu.

1.2.2 Sự hội tu perceptron Sự hội tụ perceptron đảm bảo hội tụ về một lời giải sau một sô hữu hạn các bước tính, nêu tôn tại lời giải

Giải quyết tốt bài toán khả tách tuyến tính

1.3 Mạng Perceptron nhiều lớp (Multi-layer Perceptron)

1.3.1 Ứng dụng mạng Perceptron nhiều lớp Sử dụng mạng perceptron nhiều lớp đề giải quyết bài toán phân tách phi tuyến Xap xi ham trong hé thong diéu khién

1.3.2 Cấu trúc cơ bản của mạng MLP

Tang ân (n-1) Tang ra 1.3.3 Ham kich thich ReLU

ReLU, viết tắt của rectified linear unit, biến đổi đầu vào thành giá trị lớn nhất là 0 hoặc chính đầu vào đó

relu(x) = max(0, x) Vi vay, nếu đầu vào nhỏ hơn hoặc bằng 0, thì relu sẽ xuất ra 0 Nếu đầu vào lớn hơn 0, thì relu sẽ chỉ xuât đâu vào đã cho

Ưu điểm ReLU là đơn giản, training nhanh hơn các hàm khac, gradient tích cực nhanh

1.3.4 Thuật toán BP

ôi) @i((n))

6 CHUONG 2: NOI DUNG BÀI TẬP 2.1 Thế nào là học giám sát và học không có giám sát

Theo phương thức học, các thuật toán Machine Learning thường được chia làm 4 nhóm: Supervised learning (Học có giám sát), Unsupervised learning ( Học không có giám sát), Semi-supervised lerning (Học bán giám sát) và Reinforcement learning (Học củng cô) Có một số cách phân nhóm không có Semi-supervised learning hoac Reinforcement learning

2.1.1 Học có giám sat (Supervised learning) Supervised learning là thuật toán dự đoán đầu ra (outcome) của một dữ liệu mới (new input) dựa trên các cặp (i2, outcome) đã biết từ trước Cặp đữ liệu này còn được

goi la (data, label), tức (dữ liệu, nhãn) Supervised learning là nhóm phố biến nhất trong

cac thuat toan Machine Learning Một cách toán học, Supervised learning là khi chúng ra có một tập hợp biến đầu vào và một tập hợp nhãn tương ứng, trong đó là các vector Các cặp dữ liệu biết trước được gọi là tap training data (dit liệu huấn luyện) Từ tập training data này, chúng ta cần tạo ra một hàm số ánh xạ mỗi phần tử từ tập sang một phản tử (xấp xi) tương ứng của tập

Mục đích là xấp xi hàm số thật tốt đề khi có một dữ liệu mới, chúng ta có thé tinh được nhãn tương ửng của nó

Ví dụ 1: Trong nhận dạng chữ viết tay, ta có ảnh của hàng nghìn ví dụ của mỗi chữ số được viết bởi nhiều người khác nhau Chúng ta đưa các bức ảnh này vào trong một thuật toán và chỉ cho nó biết mỗi bức ảnh tương ứng với chữ số nào Sau khi thuật toán tạo ra một mô hình, tức một hàm số mà đầu vào là một bức ảnh và đầu ra là một chữ số, khi nhận được một bức ảnh mới mà mô hình chưa nhìn thấy bao giờ, nó sẽ dự đoán bức ảnh đó chứa chữ sô nảo

HH; tá

Ví dụ 2: Thuật toán dò các khuôn mặt trong một bức ảnh đã được phát triển từ rất lâu Thời gian đầu, facebook sử dụng thuật toán này để chỉ ra các khuôn mặt trong một bức ảnh và yêu cầu người dùng /g /#iendšs - tức gán nhãn cho mỗi khuôn mặt Số lượng cặp dữ liệu (khuôn mặt, tên người) càng lớn, độ chính xác ở những lần tự động /øg tiếp theo sẽ càng lớn

Hình 2.1 Tag Friends of Facebook Ví dụ 3: Bản thân thuật toán dò tìm các khuôn mặt trong | bie anh cting la mét thuat toan Supervised learning với traming data (dt liệu học) là hàng ngàn cặp (ảnh, mặt người) và (ảnh, không phải mặt người) được đưa vào Chú y là dữ liệu này chỉ phân biệt mặt người và không phải mặt người mà không phân biệt khuôn mặt của những người khác nhau

Một bài toán được gọi 1a classification nếu cac label cha input data duoc chia thành một số hữu hạn nhóm Ví dụ: Gmail xác định xem một email có phải là spam hay không; các hãng tín dụng xác định xem một khách hàng có khả năng thanh toán nợ hay không Ba ví dụ phía trên được chia vào loại này

Hồi quy( Regression) Nếu label không được chia thành các nhóm mà là một giá trị thực cụ thê Ví dụ: một căn nhà rộng , có phòng ngủ và cách trung tâm thành phô sẽ có giá là bao nhiêu?

Gần đây Microsoft có một ứng dụng dự đoán giới tính và tuổi dựa trên khuôn mặt Phần dự đoán giới tính có thé coi là thuật toan Classification, phan du doan tudi co thé coi là thuật toan Regression Chi y rang phan dự đoán tuổi cũng có thể coi la Classification néu ta coi tuôi là một số nguyên dương không lớn hơn 150, chúng ta sẽ có 150 class (lớp) khác nhau

2.1.2 Hoc khong co giam sat (Unsupervised learning) Học không giám sát là một lớp mô hình học sử dụng một thuật toán để mô tả hoặc trích xuất ra các mỗi quan hệ tiềm ân trong dữ liệu Khác với học có giảm sát, học không giám sát chỉ thực thi trên dữ liệu đầu vào không cần các thuộc tính nhãn, hoặc mục tiêu của việc học Tức là không hề được cung cấp trước một kiến thức nào trước trừ dữ liệu

Các dữ liệu không được “hướng dẫn” trước như trong trường hợp học có giám sát Các thuật toán cần học được từ dữ liệu mà không hề có bất cứ sự hướng dẫn nào

9 Hình dưới đây cho thấy sự khác biệt giữa học có giám sát và học không giám sát Đối với học có giám sát chúng ta biết trước tên của các nhãn là “mèo” hoặc “không phải mèo” trong khi trong học không giám sát, tên của các nhãn không có trong bộ dữ liệu, chúng ta chỉ tìm được quan hệ rằng, có một số ảnh giống nhau ở phía trên (Similar Group L) và một số ảnh giỗng nhau ở phía dưới (Simliar Group 2) Chúng ta không biết hai tập này là gì, và chỉ biết rằng chúng “giống nhau” Sau khi tìm được sự giỗng nhau này rồi, chúng ta vẫn có thể gán nhãn cho dữ liệu tương tự như bài toán phân lớp Tuy nhiên,

trong nhiều trường hợp, điều này đòi hỏi khá nhiều kiến thức của chuyên gia

Ki Nhận đữ liệu gán nhãn tìm cách dự đoán nhãn

10 gần tương tự như nhau Bài toán xấp xi phân phối tìm cách tổng hợp dạng phân phối của dữ liệu

Một ví dụ về thuật toán phân cụm là k-Means, trong đó k đại diện cho số cụm cần tìm trong dữ liệu Một ví dụ điển hình của các thuật toán xấp xỉ phân phối là thuật toán xấp xỉ mật độ nhân (Kernel Density Estimafion) trong đó sử dụng một nhóm nhỏ mẫu dữ liệu có liên quan chặt chẽ với nhau đề tìm cách xấp xi phân phối cho các điểm mới trong không gian đữ liệu của bài toán Các mô hình này có thể được sử dụng đề học ra các mẫu dạng trong dữ liệu mà không cần gán nhãn trước Chẳng hạn các thư rác và thư thông thường có dạng khác nhau có thê phân thành các cụm khác nhau mà không cần biết trước nhãn của đỡ liệu dau vao

Ngoài ra, một số bài toán có thê được coi là học không giám sát chăng hạn như bài toán biểu diễn dữ liệu (data visualization) hoặc các phương pháp chiếu dữ liệu (data projection) Biểu diễn dữ liệu là bài toán học không giám sát liên quan đến việc xây dựng các đồ thị và biểu đồ đề biêu diễn trực quan dữ liệu Còn các phương pháp chiếu cho phép

tạo ra các biểu diễn dữ liệu có số chiều ít hơn dữ liệu gốc nhưng vẫn giữ được các đặc

tính của dữ liệu gốc Nó thường liên quan đến bài toán giảm chiều dữ liệu Một đại diện thường gặp nhất của nó là phương pháp Phân tích thành phần chính (Principal Component Analysis) cho phép tông hợp bộ dữ liệu thành các trị riêng và vector riêng trong đó loại bỏ các thành phần có quan hệ độc lập tuyến tính

Nói tóm lại: hai đặc điểm quan trọng nhất của Unsupervised learning đó là dữ liệu không có dãn nhãn trước và mục tiêu để tìm ra các mỗi tương quan, các mẫu trong dữ liệu

II 2.2 Bài toán Perceptron

Cho tế bào Perceptron có 3 đầu vào:

Huân luyện các mẫu trên với b=0 và W có các hệ sô băng 1 Hệ số học 0.9

Bài làm Ma tran W(0)= =

O Học mau 1: W'(0).x1=[0111] = 1 => y(0)=1 = => Thoda man tÌ Học mẫu 2:

W(0}”.x(2)=[0 L1 I] = -I => y(0)=0 = => Thoa man tÌ Học mẫu 3:

W(0)' x(3)=[0111] = 3

=> y(0)=1= => Thoa man

LÌ Học mẫu 4: W@0)”.x(3)=[0 111] = 1

=>Y(n)=l# => Không thoả mãn

12 => Cap nhat W(n+1) = W(n) + 7.[d(n) - y(n)] x(n)

=> W(1)= W(0) ~ n.[y(0)-d(0)] x(1) = +0,9 [0-1] =

O Học mau 1: W7(0) x1 = [-0,9 0,1 0,1 1,9] = 1 => y(0)=1 = => Thoda man fÌ Học mẫu 2:

W(0)' x(2) = [-0,9 0,1 0,1 1,9] = -2,8 => y(0)=0 = => Thoả mãn

=> Y(n)=0= => Thoa man

J⁄ậy với W(1) —_ thì thoã mãn tất cả các mẫu đã cho 2.3 Mạng Perceptron nhiều lớp

13

Hệ sô học 0,9

14 Bailam O So dé mang

==e=1= //Hamkich hoat ReLU

==0,9 (.1=1,35 (1) =(0) + (1) =1 + 1,35 = 2,35

15

(1) ==0,9.0 1=1,35 (1) ==0,9 (1,5) 0=0 ñ

Thuận 2

Z2)= ===

YŒ@2)==== e=d-y=-= LH Ngược 2

-4620606,435 (3) = (3)=(2)+ B)=1+0=1 =0,9 (-5134007,15).0 =0

(3) = (3)=(2) +(3)=+26,69-4620606,435= = 0,9 (-5134007,15) 1=| -4620633,125

-4620606,435 (3) = (3)=(2)+ B)=1+0=1

=0,9 (-5134007,15).0 =0