Báo cáo phân tích mạng nơ ron và khả năng Ứng dụng

Ngày nay không ai có thể phủ nhận vai trò cực kỳ quan trọng của máy tính trong nghiên cứu khoa học kỹ thuật cũng như trong đời sống. Máy tính đã làm được những điều kỳ diệu và giải được những vấn đề tưởng chừng nan giải. Càng ngày càng có nhiều người tự hỏi, liệu máy tính có khả năng suy nghĩ như con người hay chưa? Chúng ta sẽ không trả lời câu hỏi ấy. Thay vào đó, chúng ta sẽ nêu ra những khác biệt chủ yếu giữa cách làm việc của máy tính và bộ óc con người. Một máy tính, dù có mạnh đến đâu chăng nữa, đều phải làm việc theo một chương trình chính xác đã được kế hoạch định trước bởi các chuyên gia. Bài toán càng phức tạp thì việc lập trình càng công phu. Trong khi đó con người làm việc bằng cách học tập và rèn luyện, khi làm việc con người có khả năng liên tưởng, kết nối sự việc này với sự việc khác, và quan trọng hơn hết, họ có thể sáng tạo. Do có khả năng liên tưởng, con người có thể dễ dàng làm nhiều điều mà việc lập trình cho máy tính đòi hỏi rất nhiều công sức. Chẳng hạn như việc nhận dạng hay trò chơi ô chữ. Một em bé có thể tự học hỏi để nhận dạng và phân loại đồ vật xung quanh mình, biết được cái gì là thức ăn, cái gì là đồ chơi. Một người bình thường cũng có thể đoán được vài chữ trong một ô chữ. Nhưng thật khó mà dạy cho máy tính làm được những việc ấy. Từ lâu các nhà khoa học đã nhận thấy những ưu điểm của bộ óc con người và tìm cách bắt chước để thực hiện trên những máy tính, tạo cho nó có khả năng học tập, nhận dạng và phân loại. Các mạng nơ ron nhân tạo đã ra đời từ những nỗ lực đó. Nó thực sự được chú ý và nhanh chóng trở thành một hướng nghiên cứu đầy triển vọng trong mục đích xây dựng các máy thông minh tiến gần tới trí tuệ con người. Đặc biệt là lĩnh vực nhận dạng. Trong đồ án này sẽ trình bày “Mạng nơ ron và khả năng ứng dụng”. Nội dung báo cáo bao gồm những chương sau: Chương 1: Nghiên cứu cơ sở lý thuyết về mạng nơ ron nhân tạo Chương 2: Ứng dụng mạng nơ ron vào bài toán nhận dạng chữ số viết tay Chương 3: Xây dựng chương trình và thử nghiệm

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI

KHOA CÔNG NGHỆ THÔNG TIN

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI

MẠNG NƠ RON VÀ KHẢ NĂNG ỨNG DỤNG

Giảng viên hướng dẫn : TS Phạm Thanh Hà

Sinh viên thực hiện : Nguyễn Thị Phương Anh

TRƯỜNG ĐẠI HỌC THÔNG VẬN TẢI

KHOA CÔNG NGHỆ THÔNG TIN

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI

MẠNG NƠ RON VÀ KHẢ NĂNG ỨNG DỤNG

Giảng viên hướng dẫn : TS Phạm Thanh Hà

Sinh viên thực hiện : Nguyễn Thị Phương Anh

Mã sinh viên : 191210066

Lớp : CNTT4

Khóa : 60

Hà Nội - 2023

1

LỜI CẢM ƠN

Lời đầu tiên em xin gửi lời cảm ơn sâu sắc đến thầy TS Phạm Thanh Hà, người đã trực tiếp hướng dẫn và giúp đỡ em rất nhiều trong thời gian em thực hiện đồ án, giúp em hoàn thiện đồ án một cách tốt nhất

Em cũng xin được gửi lời cảm ơn đến tất cả các thầy cô công tác tại khoa Công nghệ thông tin - Trường Đại học Giao thông vận tải đã dạy dỗ cho em kiến thức về các môn đại cương cũng như các môn chuyên ngành, giúp em có được cơ sở lý thuyết vững vàng và tạo điều kiện giúp đỡ em trong suốt quá trình học tập

Cuối cùng, em xin gửi lời cảm ơn đến tất cả người thân, bạn bè, những người đã luôn động viên, ủng hộ và tạo điều kiện cho em trong thời gian hoàn thành đồ án

Mặc dù em đã cố gắng rất nhiều nhưng cũng không tránh khỏi thiếu sót và hạn chế trong quá trình thực hiện Em rất mong nhận được sự thông cảm và chỉ bảo cũng như những đóng góp chân thành của các thầy cô và bạn bè để bài đồ án được tốt hơn

Em xin chân thành cảm ơn!

Hà Nội, ngày 26 tháng 5 năm 2023

Sinh viên thực hiện

Anh Nguyễn Thị Phương Anh

2

MỤC LỤC

LỜI CẢM ƠN 1

MỤC LỤC 2

DANH MỤC CÁC TỪ VIẾT TẮT 4

DANH MỤC HÌNH ẢNH 5

MỞ ĐẦU 7

CHƯƠNG 1 NGHIÊN CỨU CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON NHÂN TẠO 8

1.1 Khái niệm mạng nơ ron 8

1.1.1 Tìm hiểu về nơ ron 8

1.1.2 Mạng nơ ron nhân tạo 11

1.2 Phân loại cấu trúc mạng nơ ron 12

1.2.1 Mạng nơ ron 1 lớp 12

1.2.2 Mạng nơ ron truyền thẳng nhiều lớp 13

1.2.3 Mạng nơ ron hồi quy 13

1.3 Các luật học 14

1.4 Mạng nơ ron truyền thẳng 16

1.4.1 Mạng Perceptron một lớp đơn 16

1.4.2 Mạng thuyền thẳng nhiều lớp MLP 19

1.5 Các giải thuật huấn luyện mạng nơ ron 21

1.5.1 Mạng nơ ron MLP và thuật toán huấn luyện lan truyền ngược sai số 21

1.5.2 Mạng nơ ron RBF (Radial Basic Function) 27

1.6 Ứng dụng của mạng nơ ron 31

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠ RON VÀO BÀI TOÁN NHẬN DẠNG CHỮ SỐ VIẾT TAY 32

2.1 Giới thiệu 32

2.2 Phát biểu bài toán 32

3

2.3 Mô hình tổng quan 33

2.4 Các bước giải quyết bài toán 34

2.4.1 Xây dựng mạng nơ ron 34

2.4.2 Xử lý dữ liệu (phân tích ảnh) 35

2.4.3 Huấn luyện mạng nơ ron 38

2.4.4 Nhận dạng chữ số 40

CHƯƠNG 3 XÂY DỰNG CHƯƠNG TRÌNH VÀ THỬ NGHIỆM 41

3.1 Môi trường thử nghiệm 41

3.2 Giao diện chương trình 41

3.3 Xây dựng chương trình thử nghiệm 42

3.3.1 Phân tích dữ liệu MNIST 42

3.3.2 Khởi tạo và huấn luyện mạng nơ ron 43

3.3.3 Huấn luyện dữ liệu MNIST 44

3.3.4 Tính toán giá trị đầu ra của mạng nơ ron 45

3.3.5 Cập nhật trọng số 46

3.3.6 Giao diện người dùng thử nghiệm MNIST 47

3.4 Kết quả thử nghiệm 51

KẾT LUẬN VÀ KIẾN NGHỊ 52

DANH MỤC TÀI LIỆU THAM KHẢO 53

4

DANH MỤC CÁC TỪ VIẾT TẮT

Viết tắt Ý nghĩa

ANN Artifical Neural Network (Mạng nơ ron nhân tạo)

CNN Convolutional Neural Network (Mạng nơ ron tích chập) MLP Multilayer Perceptron (Mạng nơ ron đa tầng)

MNIST Modified National Institute of Standards and Technology (Viện

Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ đã được sửa đổi)

5

DANH MỤC HÌNH ẢNH

Hình 1.1 Cấu tạo của tế bào nơ ron sinh học 8

Hình 1.2 Cấu trúc của một nơ ron nhân tạo 9

Hình 1.3 Sơ đồ đơn giản về một mạng nơ ron nhân tạo 12

Hình 1.4 Mạng nơ ron 1 lớp 12

Hình 1.5 Mạng nơ ron hồi quy 12

Hình 1.6 Mạng nơ ron nhiều lớp 13

Hình 1.7 Học có giám sát 15

Hình 1.8 Học không giám sát 15

Hình 1.9 Mạng perceptron đơn 17

Hình 1.10 Mạng perceptron đơn giản dùng cho bài toán phân lớp 18

Hình 1.11 Đường thẳng phân lớp được xác định nhờ mạng 19

Hình 1.12 Các điểm mẫu của bài toán XOR 19

Hình 1.13 Mạng perceptron đa lớp cho bài toán XOR 20

Hình 1.14 Mạng truyền thẳng ba lớp truyền ngược sai số 22

Hình 1.15 Một ví dụ về mạng nơ ron truyền thẳng 24

Hình 1.16 Cấu trúc mạng nơ ron RBF 28

Hình 2.1 Minh họa ảnh chứa 1 ký tự số 33

Hình 2.2 Minh họa ảnh chứa nhiều ký tự số 33

Hình 2.3 Mô hình tổng quan nhận dạng 34

Hình 2.4 Mô hình mạng nơ ron 34

Hình 2.5 Minh họa kết quả xác định vùng ảnh chứa ký tự số 36

Hình 2.6 Hình ảnh trước và sau khi thực hiện co dãn 37

Hình 2.7 Sơ đồ khối quá trình huấn luyện mạng nơ ron 39

Hình 2.8 Sơ đồ khối quá trình nhận dạng chữ số viết tay 40

Hình 3.1 Giao diện chương trình 42

Hình 3.2 Hàm load dữ liệu hình ảnh chữ số viết tay từ cơ sở dữ liệu MNIST vào chương trình 43

Hình 3.3 Đoạn mã khởi tạo và huấn luyện mạng nơ ron 44

Hình 3.4 Hàm huấn luyện dữ liệu MNIST 45

Hình 3.5 Hàm tính giá trị đầu ra của mạng nơ ron 46

Hình 3.6 Hàm cập nhật trọng số 47

Hình 3.7 Giao diện người dùng thử nghiệm 48

6

Hình 3.8 Hàm tìm hình vuông nhỏ nhất xung quanh chữ số đã vẽ 49

Hình 3.9 Hàm thay đổi kích thước ảnh về cỡ 20x20 49

Hình 3.10 Hàm chuyển ảnh cỡ 20x20 về kích thước chuẩn 28x28 50

Hình 3.11 Hàm chuyển đổi một hình ảnh bitmap thành một bảng byte 50

Hình 3.12 Kết quả thử nghiệm 51

7

MỞ ĐẦU

Ngày nay không ai có thể phủ nhận vai trò cực kỳ quan trọng của máy tính trong nghiên cứu khoa học kỹ thuật cũng như trong đời sống Máy tính đã làm được những điều

kỳ diệu và giải được những vấn đề tưởng chừng nan giải Càng ngày càng có nhiều người

tự hỏi, liệu máy tính có khả năng suy nghĩ như con người hay chưa? Chúng ta sẽ không trả lời câu hỏi ấy Thay vào đó, chúng ta sẽ nêu ra những khác biệt chủ yếu giữa cách làm việc của máy tính và bộ óc con người

Một máy tính, dù có mạnh đến đâu chăng nữa, đều phải làm việc theo một chương trình chính xác đã được kế hoạch định trước bởi các chuyên gia Bài toán càng phức tạp thì việc lập trình càng công phu Trong khi đó con người làm việc bằng cách học tập và rèn luyện, khi làm việc con người có khả năng liên tưởng, kết nối sự việc này với sự việc khác,

và quan trọng hơn hết, họ có thể sáng tạo

Do có khả năng liên tưởng, con người có thể dễ dàng làm nhiều điều mà việc lập trình cho máy tính đòi hỏi rất nhiều công sức Chẳng hạn như việc nhận dạng hay trò chơi ô chữ Một em bé có thể tự học hỏi để nhận dạng và phân loại đồ vật xung quanh mình, biết được cái gì là thức ăn, cái gì là đồ chơi Một người bình thường cũng có thể đoán được vài chữ trong một ô chữ Nhưng thật khó mà dạy cho máy tính làm được những việc ấy Từ lâu các nhà khoa học đã nhận thấy những ưu điểm của bộ óc con người và tìm cách bắt chước để thực hiện trên những máy tính, tạo cho nó có khả năng học tập, nhận dạng và phân loại Các mạng nơ ron nhân tạo đã ra đời từ những nỗ lực đó Nó thực sự được chú ý và nhanh chóng trở thành một hướng nghiên cứu đầy triển vọng trong mục đích xây dựng các máy thông minh tiến gần tới trí tuệ con người Đặc biệt là lĩnh vực nhận dạng

Trong đồ án này sẽ trình bày “Mạng nơ ron và khả năng ứng dụng” Nội dung báo cáo bao gồm những chương sau:

Chương 1: Nghiên cứu cơ sở lý thuyết về mạng nơ ron nhân tạo

Chương 2: Ứng dụng mạng nơ ron vào bài toán nhận dạng chữ số viết tay

Chương 3: Xây dựng chương trình và thử nghiệm

8

CHƯƠNG 1 NGHIÊN CỨU CƠ SỞ LÝ THUYẾT VỀ

MẠNG NƠ RON NHÂN TẠO

1.1 Khái niệm mạng nơ ron

1.1.1 Tìm hiểu về nơ ron

1.1.1.1 Nơ ron sinh học [2]

Theo các nhà nghiên cứu sinh học, hệ thống thần kinh của con người bao gồm khoảng

1011 tế bào thần kinh, thường gọi là các nơ ron Mỗi tế bào nơ ron gồm ba phần:

Hình 1.1 Cấu tạo của tế bào nơ ron sinh học [3]

- Thân nơ ron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung động thần kinh

- Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơ ron Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân nơ ron, chiếm diện tích khoảng 0,25 mm2

- Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài từ một cm đến hàng mét Chúng nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào của các nơ ron khác thông qua các khớp nối (gọi là synapse) Có hai loại khớp nối, khớp nối kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơ ron còn khớp nối ức chế (inhibitory) có tác dụng làm cản tín hiệu tới nơ ron Người ta ước tính mỗi nơ ron trong bộ não của con người có khoảng 104 khớp nối

Chức năng cơ bản của các tế bào nơ ron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống Các tế bào nơ ron truyền tín hiệu cho nhau thông

9

qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hoá học phức tạp Tại nhân tế bào, khi điện thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh rạ Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơ ron khác

1.1.1.2 Nơ ron nhân tạo [1]

Nơ ron nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đều đến từ một liên kết Đặc trưng của nơ ron là một hàm kích hoạt phi tuyến chuyển đổi

tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu rạ Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng nơ ron

Mô hình nơ ron có m đầu vào x 1 , x 2 , x m và một đầu ra y (hình 1.2), mô hình này gồm

có ba thành phần cơ bản:

+ Các kích thích đầu vào của tế bào nơ ron có thế năng tác động vào màng membran

khác nhau được biểu diễn qua trọng số w i , i = 1, , m tương ứng với cường độ kích thích

của từng đầu vàọ Các kích thích đầu vào được thực hiện qua bộ cộng f(.), đó là giá trị đo

kích thích đầu vào tác động vào tế bào nơ ron

+ Đầu ra của bộ cộng được đưa đến bộ đáp ứng ặ), bộ này không chỉ có chức năng

tạo ra đáp ứng tức thời mà còn có khả năng lưu giữ các đáp ứng theo thời gian Thành phần này hoạt động theo nguyên lý nhớ động

+ Nơ ron bị kích thích trong thời gian thế năng của màng membran vượt quá ngưỡng

Quan hệ này được thực hiện nhờ hàm ặ), nó có chức năng của bộ tạo tín hiệu ngưỡng, xác định phụ thuộc của tín hiệu ra y vào các kích thích đầu vàọ Cách thành lập nơ ron nhân tạo

như vậy tạo ra một độ tự do trong thiết kế Việc lựa chọn phép cộng tín hiệu đầu vào và đáp

ứng ặ) sẽ cho ra các kiểu mạng nơ ron nhân tạo khác nhau và tương ứng là các mô hình

mạng khác nhaụ

Hình 1.2 Cấu trúc của một nơ ron nhân tạo

(1.4) + Hàm hình cầu (Spherical function):

𝑓𝑖 = 𝜌−2∑ (𝑥𝑗− 𝑤𝑖𝑗)2

𝑚

trong đó 𝜌 và 𝑤𝑖𝑗 là bán kính và tâm của hình cầu

+ Hàm đa thức (Polynomial function):

𝑓𝑙̇ = ∑ ∑ 𝑤𝑖𝑗𝑘𝑥𝑖𝑥𝑘+ 𝑥𝑗𝛼𝑗+ 𝑥𝑘𝛼𝑘− 𝜃𝑖

𝑚 𝑘=1 𝑚

1.1.2 Mạng nơ ron nhân tạo

Mạng nơ ron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng nơ ron, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ ron sinh học Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơ ron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó [2]

Có thể xem các trọng số là phương tiện để lưu trữ thông tin dài hạn trong mạng nơ ron và nhiệm vụ của quá trình huấn luyện của mạng là cập nhật các trọng số khi có thêm thông tin về mẫu học Hay nói một cách khác, các trọng số đều được điều chỉnh sao cho dáng điệu vào ra của mạng sẽ mô phỏng hoàn toàn phù hợp với môi trường đang xem xét

Mô hình mạng nơ ron nhân tạo:

12

Hình 1.3 Sơ đồ đơn giản về một mạng nơ ron nhân tạo [4]

Mô hình mạng neural ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn (hidden) và lớp xuất (output) Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập và chuyển vào mạng Dữ liệu từ tất cả các nút trong lớp nhập được tích hợp – ta gọi là tổng trọng số – và chuyển kết quả cho các nút trong lớp ẩn Gọi là “ẩn” vì các nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất, và chỉ có người thiết kế mạng mới biết lớp này (người sử dụng không biết lớp này) Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong lớp ẩn Mỗi nút trong lớp xuất tương ứng với một biến phụ thuộc

1.2 Phân loại cấu trúc mạng nơ ron [1]

1.2.1 Mạng nơ ron 1 lớp

Hình 1.4, 1.5, 1.6 là một loại liên kết đặc thù của mạng nơ ron Nơ ron có các mối liên

hệ đến các nơ ron khác nhờ các trọng số Một lớp nơ ron là một nhóm các nơ ron mà chúng đều có cùng các trọng số, nhận cùng số tín hiệu đầu vào đồng thời

Hình 1.4 Mạng nơ ron 1 lớp Hình 1.5 Mạng nơ ron hồi quy

13

Hình 1.6 Mạng nơ ron nhiều lớp

Trong ma trận trọng số, các hàng thể hiện các nơ ron, mỗi hàng thứ j có thể đặt nhãn

như một véc tơ w j của nơ ron thứ j gồm m trọng số w ji

Các trọng số trong cùng một cột thứ j (j = 1, 2, , n) đồng thời cùng nhận một tín hiệu đầu vào x j:

Tại cùng một thời điểm, véc tơ đầu vào:

có thể là một nguồn bên ngoài đưa tới mạng

1.2.2 Mạng nơ ron truyền thẳng nhiều lớp

Mạng nơ ron nhiều lớp (hình 1.6) có các lớp được phân chia thành 3 loại sau:

- Lớp vào là lớp nơ ron đầu tiên nhận tín hiệu vào x i Mỗi tín hiệu x i được đưa đến tất

cả các nơ ron của lớp đầu vào, chúng được phân phối trên các trọng số đúng bằng số nơ ron

của lớp này Thông thường, các nơ ron đầu vào không làm biến đổi các tín hiệu vào x i, tức

là chúng không có các trọng số hoặc không có các loại hàm chuyển đổi nào, chúng chỉ đóng vai trò phân phối các tín hiệu và không đóng vai trò sửa đổi chúng

- Lớp ẩn là lớp nơ ron dưới lớp vào, chúng không trực tiếp liên hệ với thế giới bên ngoài như các lớp nơ ron vào và ra

- Lớp ra là lớp nơ ron tạo các tín hiệu ra cuối cùng

1.2.3 Mạng nơ ron hồi quy

Mạng nơ ron hồi quy còn được gọi là mạng phản hồi, là loại mạng tự liên kết thành các vòng và liên kết hồi quy giữa các nơ ron

Mạng nơ ron hồi quy có trọng số liên kết đối xứng như mạng Hopfield luôn hội tụ về trạng thái ổn định (hình 1.5)

14

Mạng BAM thuộc nhóm mạng nơ ron hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn với tín hiệu vào-ra Nghiên cứu mạng nơ ron hồi quy có trọng số liên kết không đối xứng sẽ gặp phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy đối xứng Đặc điểm cấu trúc mạng nơ ron mà người ta quan tâm đến là: số lượng đầu vào, đầu

ra, số lượng các lớp, số lượng nơ ron có trong mỗi lớp, trọng số liên kết trong mỗi lớp và giữa các lớp với nhau

Căn cứ vào yêu cầu của tín hiệu học, đối với mỗi cấu trúc mạng, mạng nơ ron cần được đánh giá lại giá trị của trọng số liên kết bằng cách thực hiện bài toán tối ưu thông qua các điều kiện thực hiện được gọi là luật học

Mỗi luật học chỉ phù hợp với từng dạng tín hiệu học và cũng chỉ phù hợp với từng kiểu cấu trúc mạng

Trong tài liệu nay chúng ta chỉ đề cập tới luật học tham số:

Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng nơ ron Nhiệm

vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác mong muốn từ

ma trận giả thiết ban đầu với cấu trúc của mạng nơ ron có sẵn

Để làm được việc trên, mạng nơ ron sử dụng các trọng số điều chỉnh, với nhiều phương

pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng Có

Dạng tổng quát của luật học trọng số của mạng nơ ron cho biết là gia số của véc tơ w i

là w i tỷ lệ với tín hiệu học r và tín hiệu đầu vào x(t):

 là một số dương còn gọi là hằng số học, xác định tốc độ học, r là tín hiệu học, nó phụ thuộc :

15

Hình 1.7 Học có giám sát Hình 1.8 Học không giám sát

Từ (1.16) ta thấy véc tơ trọng số w i = [w i1 , w i2 , , w im]T có số gia tỷ lệ với tín hiệu vào

x và tín hiệu học r Véc tơ trọng số ở thời điểm (t+1) được tính như sau:

sát này là tín hiệu học r sẽ được phát ra để cập nhật trọng số như thế nàọ

Luật Hebb là một ví dụ điển hình, với tiếp cận trọng số được điều chỉnh phù hợp với quan hệ trước – saụ Cụ thể luật học Hebb định nghĩa:

𝑟 = 𝑎(𝑤𝑖𝑇𝑥) = 𝑦𝑖 (1.20)

với ặ) là hàm kích hoạt Tóm lại trong luật Hebb tín hiệu lỗi r đơn giản là đầu ra của

nơ ron hiện thờị Theo công thức 1.19 ta có 1.21:

Ví dụ: Xét mạng chỉ có một nơ ron như hình 1.2 với hàm kích hoạt là hàm dấu Sign(),

Sign(x)=1 nếu x  0 và Sign(x)=-1 nếu x < 0

Có 4 đầu vào x 1 , x 2 , x 3 , x 4 Véc tơ trọng số w = (w 1 , w 2 , w 3 , w 4 )

Giả sử ta huấn luyện cho mạng với 3 véc tơ mẫu sau:

16

𝑥(1)= (

11.50.50) , 𝑥(2) = (

−0.5101.5) , 𝑥(3) = (

−10

−10) và hằng số học được cho là =1

Theo luật Hebb ta có các bước kết quả sau:

Bước 1: Đưa véc tơ mẫu x (1) được đưa vào để cập nhật véc tơ trọng số

w (2) = w (1) +Sign((w (1) ) T x (1) )x (1) = (

10

−10

) + Sign(0.5) (

11.50.50) = (

21.5

−0.50)

Bước 2: Đưa véc tơ mẫu x (2) được đưa vào để cập nhật véc tơ trọng số

w (3) = w (2) +Sign((w (2) ) T x (2) )x (2) = (

21.5

−0.50

) + Sign(0.5) (

−0.5101.5) = (

1.52.5

−0.51.5)

Bước 3: Đưa véc tơ mẫu x(3) được đưa vào để cập nhật véc tơ trọng số

w (4) = w (3) +Sign((w (3) ) T x (3) )x (3) = (

1.52.5

−0.51.5

) + Sign(−1.75) (

−10

−1

−0.5) = (

2.52.50.52)

Có thể nhận thấy:

Sign((w (4))T x (1) = Sign((w (4))T x (2) = 1 và Sign((w (4))T x (3) = −1

1.4 Mạng nơ ron truyền thẳng [1]

Trong phần này chúng ta sẽ nghiên cứu mạng một lớp và mạng nhiều lớp truyền thẳng với luật học có giám sát

1.4.1 Mạng Perceptron một lớp đơn

17

Hình 1.9 Mạng perceptron đơn

Hình 1.9 là một ví dụ về một mạng perceptron đơn Cho các véc tơ mẫu đầu ra d (k) =

[d 1 (k) , d 2 (k) , …, d n (k)]T tương ứng với các véc tơ mẫu đầu vào đầu vào là x (k) = [x 1 (k) , x 2 (k) , …,

Đầu ra thực tế theo cấu trúc:

Xét luật học tổng quát (1.16) với tham số học: r = d − y (1.25)

với y i = Sign(w i T x) và d i là đầu ra thực tế và đầu ra mong muốn của nơ ron thứ i Giả sử d i nhận các giá trị -1, +1, sử dụng (1.16) ta có:

w ij = [di – sign(w i T x)]x j = {2𝜂𝑑𝑖𝑥𝑗 𝑛ế𝑢 𝑦𝑖 ≠ 𝑑𝑖

𝑂 𝑛𝑔ượ𝑐 𝑙ạ𝑖 với j = 1, …, m (1.26)

Hình 1.10 Mạng perceptron đơn giản dùng cho bài toán phân lớp

Không gian đầu vào gồm các giá trị:

Để thuận tiện ta chọn  = 0.5 và khởi tạo véc tơ trọng số w = [-2, 1.5]

Quá trình huấn luyện diễn ra như sau:

Bước 1: Khi x(1) được đưa vào, đầu ra thực tế và các trọng số được xác định như sau:

Hình 1.11 Đường thẳng phân lớp được xác định nhờ mạng

Chúng ta đã đề cập tới khả năng phân lớp của mạng perceptron, tuy nhiên khả năng

này phụ thuộc vào tập mẫu, ví dụ: xét bài toán XOR cho bởi hình 1.12

Hình 1.12 Các điểm mẫu của bài toán XOR

Rõ ràng ở đây không thể tồn tại một đường thẳng chia tập dữ liệu thành 2 phần thoả điều kiện các phần tử ở phần 1 có đáp ứng bằng 1, và các phần tử ở phần 2 có đáp ứng bằng

0 Do đó ta không thể biểu diễn hàm XOR bằng một mạng perceptron đơn cùng với hàm kích hoạt tuyến tính

1.4.2 Mạng thuyền thẳng nhiều lớp MLP

Mạng một lớp perceptron được dùng để phân lớp và xấp xỉ các hàm, tuy nhiên nó phụ thuộc vào dữ liệu mẫu của bài toán, bài toán XOR là một ví dụ (không có mạng perceptron

20

tương ứng) Để giải quyết điều đó người ta đưa ra một cấu trúc mạng truyền thẳng nhiều lớp, ví dụ sau sẽ minh chứng điều đó: Xét bài toán XOR, với các mẫu đầu vào và đầu ra mong muốn:

Rõ ràng bốn mẫu vào này không thể phân chia tuyến tính trong không gian đầu vào

Để phân chia tập mẫu này ta phải sử dụng đến hai đường thẳng như hình 1.13(a):

Hình 1.13 Mạng perceptron đa lớp cho bài toán XOR

Như vậy mỗi không gian con bao gồm các mẫu của các lớp tương ứng của bài toán, hai đường thẳng được chọn là:

x1 – x2 + 0.5 = 0 và x 1 – x 2 – 0.5 = 0

Ta sử dụng hai nơ ron để thực hiện việc trên và các đầu ra tương ứng của chúng là:

z1 = Sign(x1 – x2 + 0.5) và z 1 = Sign(x1 – x2 – 0.5) Các đơn vị này sẽ được đặt trong tầng ẩn của một mạng 3 lớp hình 1.13(c), chú ý lớp một chỉ tiếp nhận đầu vào chứ không đóng vai trò xử lý

−1) , 𝑑(1) = −1);

(𝑧(3)= (1

1) , 𝑑(1) = −1) ; (𝑧(4)= ( 1

−1) , 𝑑(1) = 1)

Sự thay đổi của các mẫu huấn luyện trong không gian ảnh thể hiện trong hình 1.13(b),

các mẫu x(1), x(4) trở nên trùng khớp trong không gian ảnh, nhờ đó có thể tiến hành quá trình

phân lớp tuyến tính Đường biên chia ba mẫu trên thành 2 lớp có thể chọn tuỳ ý, ví dụ z1 -

z2 - 0.5 = 0 Đây chính là đầu vào của nơ ron ở tầng xuất, và đầu ra tương ứng là: y = Sign(z1

- z2 - 0.5)

Cuối cùng ta có mạng nơ ron 3 lớp (hình 1.13(c)) để giải bài toán phân lớp XOR như

đã đề cập

1.5 Các giải thuật huấn luyện mạng nơ ron [1]

Trong phần này tài liệu giới thiệu các phương pháp huấn luyện mạng nơ ron trong đó

đề cập tới mạng nơ ron truyền thẳng nhiều lớp MLP và mạng RBF với thuật toán huấn luyện lan truyền ngược sai số

1.5.1 Mạng nơ ron MLP và thuật toán huấn luyện lan truyền ngược sai số

Thuật toán học lan truyền ngược là một thuật toán trong lịch sử phát triển mạng nơ ron nhân tạo, thuật toán được ứng dụng cho mạng truyền thẳng nhiều lớp

Mạng nơ ron sử dụng thuật toán huấn luyện lan truyền ngược lan truyền ngược được gọi là mạng BP (Back Propagation Network)

Xét một mạng truyền thẳng ba lớp như hình 1.14:

22

Hình 1.14 Mạng truyền thẳng ba lớp truyền ngược sai số

Giả sử tập mẫu dùng để huấn luyện mạng gồm p mẫu {x k , d k }, k=1, 2, , p thủ tục BP xây dựng một chuỗi p các hàm sai số

E k (W) = 1

2|𝑦𝑘 − 𝑑𝑘|2 = 1

2∑𝑚 (𝑑𝑗𝑘 − 𝑦𝑗𝑘)

𝑗=1 2,

trong đó: m - số rơ ron đầu ra; d j k - thành phần thứ j của véc tơ ra mong muốn d k , y j k

- thành phần thứ j của véc tơ ra y k do lan truyền đầu vào x k

Các hàm sai số này lần lượt được tối thiểu trong không gian các trọng số Giá trị hàm

sai số E k đối với một mẫu được tính toán dựa trên giá trị các trọng số hiện tại

Các giá trị trọng số này sau đó được hiệu chỉnh và trở thành các giá trị trọng số hiện

tại để tính giá trị hàm sai số tiếp theo E k+1

Dễ nhận thấy, cách làm này có khả năng tạo ra sự dao động trong quá trình hiệu chỉnh các trọng số Kết quả hiệu chỉnh hiện tại có thể làm hỏng kết quả hiệu chỉnh ở các lần trước

23

+ Trước tiên ta xét lan truyền tín hiệu qua từng lớp mạng: lớp nhập, lớp ẩn và lớp xuất

Giả sử tín hiệu đưa vào mạng nơ ron x = (x 1 , x 2 , …, x m ) với m là số nơ ron trong lớp

nhập, l là số nơ ron trong lớp ẩn và n là số nơ ron trong lớp xuất Các nơ ron trong lớp nhập

nhận và truyền tín hiệu sang lớp ẩn Đầu vào các nơ ron (nút) trong lớp ẩn thứ nhất có dạng:

+ Sau khi lan truyền thẳng tín hiệu qua mạng, sai số của tín hiệu ra sẽ được lan truyền

ngược để điều chỉnh các trọng số, mục tiêu ở đây là cực tiểu sai số giữa tín hiệu ra y = (y 1 ,

trong đó oi là tín hiệu sai số, i là số thứ tự của nút i của lớp xuất, tín hiệu sai số được

định nghĩa như sau:

𝛿𝑜𝑖 = − 𝜕𝐸

𝜕𝑛𝑒𝑡𝑖 = − [𝜕𝐸

𝜕𝑦𝑖] [ 𝜕 𝑦𝑖

𝜕𝑛𝑒𝑡𝑖] = [𝑑i – y i ][a’(net i)] (1.34)

với net i là tổng vào của nơ ron thứ i của lớp xuất và a'(net i ) = a(net i )/ net i

Trọng số liên kết giữa lớp ẩn và lớp nhập cũng được điều chỉnh theo phương pháp giảm gradient, như sau:

Ví dụ: Xét một mạng BP đơn giản như hình 1.15, mỗi nơ ron của mạng sử dụng hàm

kích hoạt sigmond lưỡng cực y = a(net) = 1 ∕ (1 + ⅇ−𝜆𝑛𝑒𝑡), với net là tổng đầu vào của nơ

ron, khi  = 1 ta có a’(net) = y(1 - y)

Hình 1.15 Một ví dụ về mạng nơ ron truyền thẳng

Ta có:

Ở trên các trọng số được điều chỉnh theo từng mẫu đơn, gọi là learning step Sau khi

các mẫu được đưa vào hết thì một thời kỳ được thiết lập (epoch) Các thời kỳ huấn luyện được tiếp tục cho đến khi đạt tới điều kiện dừng của mạng

Sau đây ta viết thuật toán, thuật toán này được viết cho một mạng truyền thẳng tổng

quát có Q lớp

Algorithm BP: Back-propagation Learning Rule

Xét mạng nơ ron với Q lớp lan truyền thẳng, q = 1,2, …,Q và q net i và q y i là đầu vào

và đầu ra của nơ ron thứ i trong lớp q tương ứng Mạng có m nút nhập, n nút xuất Gọi q w ij

là trọng số liên kết từ nơ ron j lớp q-1 đến nơ ron i lớp q

Input: Tập mẫu huấn luyện {(x (k) , d(k) )}, k = 1,2, …, p

Bước 0 (khởi tạo):

Bước 2 (Lan truyền thẳng tín hiệu):

Lan truyền thẳng tín hiệu qua mạng theo công thức:

Bước 4 (Lan truyền ngược sai số): lan truyền ngược sai số để điều chỉnh trọng số và tính

tín hiệu sai số q-1i cho lớp trước