Tóm tắt luận Án phát triển một số phương pháp học trọng số cho mạng nơ ron tế bào bậc hai

Trong luận án này, nghiên cứu sinh phát triển một số thuật toán học cho mạng nơ ron tế bào bậc cao SOCeNNS – dựa trên cấu trúc do Nguyễn Quang Hoan và cộng sự đề xuất.. Các thuật toán SO

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG

VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA

MỞ ĐẦU

Thời đại số ở Việt Nam và trên thế giới đang sử dụng trí tuệ nhân tạo làm hạt nhân cho sự phát triển, trong đó mạng nơ ron phỏng theo não người đang nổi lên như một công cụ hiện đại Hai lớp cấu trúc cơ bản của mạng nơ ron là mạng nơ ron truyền thẳng và mạng nơ ron hồi quy (phản hồi) Mạng nơ ron hồi quy là một hướng phát triển có thể cấy trên các phần sụn (chương trình phần mềm được ghi trên các chip phần cứng như bộ nhớ ROM) và đã được chế tạo thành máy tính nơ ron trên thế giới Chiếc máy tính này được phát triển dựa trên cấu trúc mạng nơ ron tế bào (do L Chua và L Yang đề xuất năm 1988) Hướng phát triển của mạng nơ ron tế bào hiện nay bên cạnh về cấu trúc còn các luật học và khả năng ứng dụng thực tế Trong luận án này, nghiên cứu sinh phát triển một số thuật toán học cho mạng nơ ron tế bào bậc cao (SOCeNNS) – dựa trên cấu trúc do Nguyễn Quang Hoan

và cộng sự đề xuất Các thuật toán SORPLA, GA đề xuất có khả năng tính toán đầy đủ bộ trọng số của SOCeNNs tuy nhiên để đảm bảo tính hội tụ của thuật toán, nghiên cứu sinh tiếp tục xây dựng một thuật toán lai GASORPLA để đảm bảo tính hội tụ toàn cục bộ trọng số tính toán cho mạng nơ ron tế bào bậc cao

1 Đối tượng và phạm vi nghiên cứu

➢ Đối tượng nghiên cứu: Các luật học để xác định các bộ trọng số cho mạng nơ ron tế bào bậc

hai với cấu trúc đã chọn trước

➢ Phạm vi nghiên cứu: Luận án giới hạn nghiên cứu các thuật toán hồi quy và phát triển thành

thuật toán dạng Perceptron (theo kiểu truyền thẳng) phù hợp cho mạng nơ ron tế bào bậc hai Xây dựng giải thuật di truyền để xác định bộ trọng số SOCeNNs và phương pháp học kết hợp giữa GA và SORPLA để giảm thiểu các trường hợp tối ưu cục bộ của phương pháp SORPLA Thử nghiệm cho bài toán xác định biên ảnh sử dụng kết quả các thuật toán đã phát triển trong luận án chỉ để chứng tỏ các bộ trọng số tìm được là đúng, đề xuất khả năng ứng dụng thực tế sau này Trong nội dung nghiên cứu tại luân án, NCS không đi sâu vào đánh giá chất lượng xử lý ảnh so với các phương pháp khác; đây là một hướng nghiên cứu mà NCS sẽ định hướng vào giai đoạn tiếp theo

2 Mục tiêu của luận án

Mục tiêu tổng quát: phát triển các luật học để xác định các bộ trọng số cho mạng nơ ron tế

bào bậc hai

Mục tiêu cụ thể: Phát triển các luật học Perceptron hồi quy và thuật toán GA cho mạng nơ ron

tế bào bậc cao; Đề xuất thuật toán lai GASORPLA để tính toán bộ trọng số cho mạng nơ ron tế bào bậc cao đảm bảo tối ưu toàn cục; Thử nghiệm kết quả các thuật toán trên mô phỏng và chương trình phần mềm

3 Phương pháp tiếp cận, nghiên cứu của luận án

Phương pháp tiếp cận: từ các tài liệu đã công bố, tham khảo các chuyên gia, mô hình toán học

và thực nghiệm;

Phương pháp nghiên cứu: kết hợp giữa nghiên cứu lý thuyết, các mô hình toán học, tiến hành

mô phỏng, thực nghiệm, đánh giá

4 Nội dung nghiên cứu của Luận án

Bố cục của Luận án gồm ba chương:

Chương một Trên cơ sở cấu trúc mạng nơ ron tế bào bậc hai, kết hợp với thuật toán Perceptron

hồi quy của C Gukzelis và cộng sự, NCS đề xuất và phát triển luật học áp dụng cho mạng nơ ron tế bào bậc hai để tính toán đầy đủ bộ trọng số SOCeNNs, chứng minh tính hội tụ của luật học đã đề xuất

Chương hai Trên cơ sở cấu trúc mạng nơ ron tế bào bậc cao, kết hợp với thuật toán Perceptron

hồi quy của C GuKzelis và cộng sự, nghiên cứu sinh đề xuất và phát triển luật học áp dụng cho mạng

nơ ron tế bào bậc cao để tính toán đầy đủ bộ trọng số SOCeNNs

Chương ba Dựa theo phương pháp đề xuất ở chương hai, NCS tiếp tục sử dụng giải thuật di

truyền xác định bộ trọng số cho mạng nơ rơn tế bào bậc hai, tiếp đó xây dựng thuật toán học lai giữa

GA kết hợp SORPLA để đảm bảo tính tối ưu toàn cục của thuật toán, đưa ra một số chứng minh về khả năng xử lý ảnh của mạng nơ ron tế bào bậc hai

Ở phần cuối đã trình bày một số kết luận về kết quả đạt được của luận án và kiến nghị hướng nghiên cứu tiếp theo

5 Đóng góp của luận án

Đóng góp thứ nhất: Phát triển luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs)

Đóng góp thứ hai: Chứng minh tính hội tụ của thuật toán SORPLA

Đóng góp thứ ba: Xây dựng thuật toán GA cho mạng nơ ron tế bào bậc hai, và hai thuật toán lai giữa GA với thuật toán RPLA và thuật toán SORPLA để cải thiện chất lượng học cho mạng nơ ron tế bào bậc hai

CHƯƠNG 1 TỔNG QUAN VỀ CẤU TRÚC

VÀ LUẬT HỌC MẠNG NƠ RON 1.1 Cấu trúc và luật học trong mạng nơ ron truyền thống

1.1.1 Khái niệm và phân loại học trong mạng nơ ron truyền thống

Học trong mạng nơ ron nhân tạo có thể chia làm hai loại: học cấu trúc và học tham số Học cấu trúc: xác định số lớp kết nối, số các phần tử nơ ron trong mỗi lớp Học tham số: xác định bộ giá trị trọng số trong mạng, được chia làm 03 loại:

Học không giám sát: Học từ các cặp mẫu đầu vào/ ra;

Học giám sát: Học từ các nhãn (gồm tín hiệu đầu vào, các đầu ra mong muốn) Nhãn đóng vai trò như giáo viên nhằm giám sát quá trình học;

Học củng cố: Sử dụng các thông tin trái ngược nhau kết hợp các phản hồi thực tế để củng cố các tín hiệu khác nhau

1.1.2 Cấu trúc và luật học của mạng nơ ron truyền thẳng

1

20

Luật học Widrow-Hoff (hay luật học sai số bình phương tối thiểu: LMS) là luật học định lượng

và có sở cứ khoa học từ phương pháp hạ Gradient (Decent Gradient) từ viện nghiên cứu Massachusetts

Hopfield sử dụng hàm V(t)thỏa mãn hai điều kiện để hàm V(t) là hàm Lyapunov và khi đó

hàm Lyapunov và mạng Hopfield liên tục ổn định theo tiêu chuẩn ổn định Lyapunov

❖ Luật học mạng Hopfield

Luật cập nhật trọng số mạng Hopfield dựa theo luật Hebb tức là học không giám sát Khi hàm

tương tác đầu ra là hàm dấu, trọng số của mạng Hopfiled được tính theo biểu thức như sau:

i j nxn

s

1.1.3.2 Mạng nơ ron tế bào chuẩn

a Cấu trúc mạng nơ ron tế bào chuẩn

Năm 1998, L.O Chua và L Yang đề xuất mạng nơ ron tế bào (CeNNs) Bản chất của CeNNs là

hai mạng nơ ron Hopfield (nêu tại mục 1.1.3.1) được đưa vào hai hướng trở thành một ma trận đầu

vào (hay mảng) Khi đó, mạng nơ ron tế bào là một mảng các tế bào xử lý song song ở dạng tương

tự Mỗi tế bào bao gồm các điện trở, tụ điện, các nguồn nuôi tuyến tính và phi tuyến

Phương trình trạng thái của CeNNs:

+ Bộ tích phân f(x)

-1/Rx

Ma trận phản hồi đầu ra

Phản hồi từ các lân cận

Ma trận điều khiển đầu vào

Đầu vào từ các lân cân

(1.14)

thỏa mãn hai điều kiện:

1) hàm V( t) xác định dương và âm hay: | ( )| max

12

Định lý 1.2: Nếu mạch điện tương ứng CeNNs thỏa mãn điều kiện:

c Học trong mạng nơ ron tế bào:

Trong công bố về mạng nơ ron tế bào chuẩn, L O Chua giả định các tham số của ma trận trọng số điều khiển B1 i j k l( , ; , )và ngưỡng I là các hằng số; còn các giá trị của ma trận trọng số phản

hồi A1 i j k l( , ; , ) được tính theo luật học Hebb Để tổng quát, bộ ma trận trọng số B1 i j k l( , ; , )và

ngưỡng I cũng cần phải dùng luật để tính Hiện nay, nhiều phương pháp học được công bố để tính

các bộ trọng số A1 i j k l( , ; , ), B1 i j k l( , ; , ), và I Một trong các phương pháp đó là biến đổi mạng

nơ ron tế bào có phản hồi (hay hồi quy) sang cấu trúc mạng truyền thẳng (các ma trận A1, B1, I được

ẩn bên trong và thay bằng một ma trận trọng số tổng W Khi đó, mô hình cấu trúc mạng CeNNs tương đương mạng Perceptron và có thể sử dụng luật học Perceptron để tính W Ý tưởng và thuật

toán đó được C Gukzelis đề xuất và gọi là thuật toán Perceptron hồi quy (RPLA)

Khi CeNNs chuẩn đạt trạng thái ổn định x t constant

ij thì biểu thức (1.9) có vế trái bằng 0

Thay (1.23) và (1.22) vào (1.21) dễ đạt được phương trình (1.24) tại trạng thái ổn định; khi

đó CeNNs tương đương với mạng truyền thẳng Perceptron:

1

*2

Khi sai số e w k e min cho trước, luật học Perceptron hồi quy tính giá trị cập nhật trọng số

của CeNNs k lần và tiến tới ổn định:

Trình tự thực hiện luật học Perceptron hồi quy được thể hiện theo lưu đồ như hình (Hình PL.1)

và mô tả thuật toán theo bước như sau:

Đầu vào (Input): Cho:

i) Bộ mẫu huấn luyện CeNNs bao gồm( (u i j s, ,x i j s, ( )0 ,) d i j s, ),

ii) Tốc độ học 𝛼

iii) Cấu trúc mạng nơ ron tế bào chuẩn

iv) Chọn sai lệch cho phép tối thiểu e min

Đầu ra (Output): Bộ ma trận trọng số CeNNs

Bước 1: Chọn bộ ma trận trọng số khởi tạo ban đầu cho mạng

- Ma trận trọng số phản hồi A1[0] kích thước 3x3, với toán hạng a5 0 thỏa mãn định lý 1.2

- Ma trận đầu vào B1[0] kích thước 3x3, có tính chất đối xứng tương tự ma trận A1[0]

• Nếu sai lệch  (w k  )e min , chọn bộ trọng số kết quả đã tính toán Chuyển sang Bước 6

• Nếu  (w k  )e min chuyển sang Bước 3

Bước 3: Cập nhật giá trị bộ trọng số của CeNNs;

Bước 4: Tính toán giá trị trạng thái s ( )

i, j

x k ; Bước 5: Tính đầu ra mới CeNNs s, ( ) 

i j

y ; Quay lại bước 2;

Bước 6 Dừng thuật toán

Như vậy, NCS nhận thấy phương án gộp các các ma trận phản hồi A1 ma trận đầu vào B1, và

ma trận ngưỡng I thành ma trận trọng số tổng W theo thuật toán Perceptron hồi quy để thực hiện quá

trình học cho mạng nơ ron tế bào chuẩn CeNNs là hoàn toàn có cơ sở

1.1.4 Mạng nơ ron bậc hai dạng đa thức và ý nghĩa

Như đã trình bày tại mục 1.1.3, mạng nơ ron tế bào chuẩn là mạng phản hồi, thường dùng luật học không giám sát Hebb Trong khi đó, mạng Perceptron chuẩn là mạng truyền thẳng với luật học

có giám sát Perceptron (nội dung 1.1.2) Mạng Perceptron chuẩn có trạng thái được tính theo phương trình tuyến tính, điều này tương tự với mạng nơ ron tế bào chuẩn là các thành phần trọng số của ma

trận A1, B1, I cũng theo luật tuyến tính Thực tế, các luật tuyến tính trong mạng nơ ron tạo nên một

siêu phẳng phân cách phù hợp cho thực hiện các bài toán phân lớp Đối với bài toán nhận dạng dựa trên phương pháp phân lớp tuyến tính cần tối thiểu ba siêu phẳng phân cách kiểu như vậy (hình 1.2)

Theo hình 1.2a, khi trạng thái của nơ ron tại giá trị x=0, thay vào phương trình trạng thái

(1.54) được quan hệ tuyến tính:

0 1

w w

Hình 1.2 Đặc tính phân lớp của mạng nơ ron bậc nhất

Phương trình (1.26) cho thấy

một nơ ron tượng trưng cho mạng

nơ ron 1 lớp bậc nhất với hai đầu vào

có đặc tính phân lớp, phụ thuộc vào

giá trị trọng số w 1 , w 2 , w 0 để tạo ra

các đường thẳng (tuyến tính); đường

thẳng này (trong hình 1.2b thể hiện

một trong ba đường như vậy) tạo

thành hai lớp giá trị: một lớp ở trên

(hoặc dưới) nhận giá trị “1”, lớp ở

dưới (hoặc trên) nhận giá trị “0”

Nhiều công trình khoa học

đã thay vì sử dụng mạng nơ ron

x

Hình 1.3 Đặc tính phân lớp của mạng nơ ron bậc hai

mạng một lớp bậc hai đối với véc tơ đầu vào Khi đó, quỹ đạo trạng thái của mạng tạo thành một elip nhằm bao quanh điểm cần nhận dạng Để thấy rõ ý tưởng đó, chúng ta sử dụng một nơ ron để mô tả

và thấy rõ ý nghĩa của nơ ron tương tác bậc hai dạng đa thức Giả thuyết có hai đầu vào của một nơ ron như hình 1.3 thể hiện một mô hình nơ ron bậc hai Khi đó trạng thái của nơ ron như sau:

1 1 1 1 1 3 2 4 1 2 5

Quỹ đạo của phương trình trạng thái đối với nơ ron

bậc hai 1 lớp phụ thuộc vào bộ trọng số (w w w w w1, 2, 3, 4, 5)

thích hợp biểu diễn của sẽ là một đường elip

Từ hình 1.4 cho thấy, để bao điểm A cần có quỹ đạo

elip, tương đương với việc phải sử dụng ba đường thẳng để

bao điểm A Điều này có nghĩa là, thay vì phải dùng mạng

nơ ron truyền thẳng ba lớp trọng số trở lên (hay mạng nơ

ron truyền thẳng nhiều lớp), chỉ cần sử dụng một lớp mạng

nơ ron tương tác đầu vào bậc hai dạng đa thức Điều này

cũng giải thích khái niệm mạng nơ ron bậc hai hay bậc cao

(dạng đa thức) đối với đầu vào và ý nghĩa của nó

1.2 Các nghiên cứu về mạng nơ ron tế bào và luật học

1.2.1 Các nghiên cứu về mạng nơ ron tế bào ở ngoài nước

Hiện nay trên thế giới đã có nhiều công bố nghiên cứu

về mạng nơ ron tế bào nói riêng và mạng nơ ron hồi quy nói chung Trong đó có thể chia ra làm ba hướng công bố chính: Các công bố về phát triển cấu trúc và tính ổn định, các công bố liên quan đến phát triển luật học và các công bố về phát triển ứng dụng cho mạng nơ ron tế bào

1.2.2 Các nghiên cứu và công bố về mạng nơ ron tế bào tại Việt Nam

Mạng nơ ron tế bào được PGS.TS Phạm Thượng Cát là người đặt nền móng đầu tiên cho vấn

đề nghiên cứu tại Việt Nam năm 2006 Đến năm 2022, nhóm nghiên cứu của PGS.TS Nguyễn Quang Hoan đã phát triển mạng nơ ron tế bào bậc hai Đại diện nhóm nghiên cứu, TS Nguyễn Tài Tuyên

đã bước đầu công bố, phát triển về mặt cấu trúc cũng như tiến hành thử nghiệm làm bộ nhớ liên kết

bằng việc tính ma trận trọng số A1 của CeNNs theo luật học Hebb, bỏ qua ảnh hưởng của các ma trận trọng số B1, I

1.3 Đặt vấn đề nghiên cứu

1.3.1 Phát biểu bài toán

Từ những tổng quan và phân tích các công trình mới nhất về mạng nơ ron tế bào, nghiên cứu sinh đề xuất các vấn đề cần thực hiện 03 nội dung mới trong luận án như sau:

➢ Một là: phát triển thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc cao (sử dụng mạng nơ ron bậc hai làm đại diện)

➢ Hai là: Chứng minh tính hội tụ của thuật toán Perceptron (kể cả bậc cao và bậc nhất) từ đó đưa ra những hạn chế có khả năng xảy ra đối với các thuật toán sử dụng theo phương pháp hạ Gradient và hướng khắc phục

➢ Ba là: Căn cứ việc chứng minh tính hội tụ của SORPLA, nghiên cứu sinh đề xuất phương pháp sử dụng giải thuật di truyền (GA) để xác định bộ trọng số của mạng nơ ron tế bào bậc cao Từ đó, nghiên cứu sinh đề xuất thuật toán lai giữa (GA) với thuật toán Perceptron hồi quy bậc hai (SORPLA)

Chương 1 của luận án đã phân tích tổng quan về cấu trúc và các luật học của một số mạng

nơ ron kinh điển; phân tích về những công bố có nội dung liên quan đến mạng nơ ron tế bào chuẩn của L O Chua ở trong và ngoài nước; phát biểu bài toán, định hướng các nội dung nghiên cứu và

dự kiến kết quả (đóng góp) của luận án

Trong phần tiếp theo (Chương 2), NCS sẽ trình bày cơ sở lý luận, khoa học để phát triển luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs) và chứng minh sự hội tụ của luật học đề xuất Cuối chương 2, NCS trình bày ví dụ về ứng dụng của SOCeNNs với các bộ trọng

số tìm được theo thuật toán SORPLA cho bài toán xử lý ánh (xác định biên ảnh) để chứng minh ưu điểm của các bộ trọng số tìm được tức là tính đúng đắn của thuật toán SORPLA;

CHƯƠNG 2 THUẬT TOÁN PERCEPTRON HỒI QUY

CHO MẠNG NƠ RON TẾ BÀO BẬC HAI

2.1 Mạng nơ ron tế bào bậc hai

2.1.1 Cấu trúc mạng nơ ron tế bào bậc hai

Năm 2020, NCS cùng cộng sự đã phát triển cấu trúc mạng nơ ron tế bào bậc cao và sử dụng đại diện là mạng nơ ron tế bào bậc hai (SOCeNNs) Cấu trúc mạng SOCeNNs được xây dựng dựa

trên cấu trúc CeNNs, gồm bộ các trọng số B1, A1, B2, A2 và I Khi đó, cấu trúc của SOCeNNS bao

A2 k ,l;m,n;i, j A2 m,n;k ,l;i, j A2 m,n;i, j;k ,l

với

1 1

i,k ,m M ; j,l ,n N

x

(2.4)

A1

Hình 2.1 Cấu trúc tổng quát nơ ron tế bào bậc hai

2.1.2 Mô tả các thành phần của SOCeNNs

Mục tiêu của luận án là phát triển luật học cho một cấu

trúc mạng nơ ron tế bào mới – cấu trúc mạng nơ ron tế bào bậc

hai Nói cách khác, đơn giản hơn là tìm bộ trọng số cho

SOCeNNs Do đó, trong phần này, NCS trình bày một cách chi

tiết các thành phần bậc hai trong mạng SOCeNNs

Thực tế, giống với tất cả các mạng nơ ron khác, một tế

bào của mạng nơ ron bậc hai bao gồm 03 thành phần cốt lõi: i)

Phần tín hiệu đầu vào (Đầu vào), ii) Phần xử lý tín hiệu, iii)

Phần tín hiệu đầu ra (Đầu ra)

2.1.2.1 Đầu vào của mạng nơ ron tế bào bậc hai

Đầu vào điều khiển của mạng nơ ron tế bào bậc hai được thể hiện ở bộ tổng tại hình 2.1 và vế phải của phương trình (2.1) và có thể chia làm hai nhóm: i) Tín hiệu đầu vào điều khiển gồm các đầu vào ngoài bậc nhất Uk,l, bậc hai Uk,l*Um,n, ii) đầu vào ngưỡng I

Định nghĩa 2.1: Đầu vào điều khiển bậc hai

Đầu vào điều khiển bậc hai của một tế bào C(i,j) trong SOCeNNs là sự tương tác giữa từng

tín hiệu lân cận u k,l với tất cả tín hiệu đầu vào lân cận u m,n tức là uk l,  um n, Số lượng đầu vào điều khiển bậc hai: ( ) (2 )2

2 +r 1   +2 r 1

Bảng 2.1 minh họa giá trị đầu vào bậc hai của tế bào C(i,j) tại vị trí tế bào lân cận C(i-1,j-1),

nó bao gồm đầu vào điều khiển lân cận bậc hai dạng đa thức của tế bào C(i,j) với bán kính r=1

Bảng 2.1 Đầu vào bậc hai của C(i,j) tại vị trí tế bào lân cận C(i-1,j-1)

2.1.2.2 Xử lý tín hiệu của mạng nơ ron tế bào bậc hai

Có thể nói bộ xử lý gồm hai khâu: khâu lấy tổng và khâu tích phân (hình 2.1) Tín hiệu cần

đạt được của bộ xử lý là trạng thái x i,j (t) Tín hiệu cần đạt được của bộ xử lý là trạng thái x i,j (t) Để có

x i,j (t) từ dx i,j (t)/dt cần bộ tích phân để tính toán Cấu trúc phần tử xử lý của nơ ron tế bào bậc hai hoàn

toàn giống như bộ xử lý của nơ ron tế bào bậc nhất được thể hiện tại nội dung 1.1.3

2.1.2.3 Đầu ra của mạng nơ ron tế bào bậc hai

Các đầu ra của mạng nơ ron tế bào bậc hai cũng đưa phản hồi vào bộ tổng tại hình 2.1 Các đầu ra phản hồi của mạng nơ ron tế bào bậc hai được chia làm hai nhóm: i) Đầu ra phản hồi bậc nhất

Y k,l và Y m,n , ii) đầu ra phản hồi bậc hai Y k,l *Y m,n

Định nghĩa 2.2: Đầu ra phản hồi bậc hai

Đầu ra phản hồi bậc hai của một tế bào C(i,j) trong SOCeNNs là sự tương tác giữa tín hiệu

lân cận yk,l với tất cả tín hiệu đầu ra lân cận y m,n, tức là yk l,  ym n, Số lượng đầu ra điều khiển bậc hai:

2 +r 1   +2 r 1

Bảng 2.2 minh họa giá trị đầu ra phản hồi bậc hai của tế bào C(i,j) tại vị trí tế bào lân cận

C(i-1,j-1), nó bao gồm 9 đầu ra phản hồi lân cận bậc hai dạng đa thức của tế bào C(i,j) với bán kính r=1 Bảng 2.2 Đầu ra phản hồi bậc hai của C(i,j) tại vị trí tế bào lân cận C(i-1,j-1)

yi-1,j-1* yi-1,j-1 yi-1,j* yi-1,j-1 yi-1,j+1* yi-1,j-1

yi,j-1* yi-1,j-1 yi,j* yi-1,j-1 yi,j+1* yi-1,j-1

yi+1,j-1* yi-1,j-1 yi+1,j* yi-1,j-1 yi+1,j+1* yi-1,j-1

Với r=1, NCS ký hiệu bộ ma trận trọng số phản hồi bậc hai A2 (kích thước 9x9) thành 9 bộ

ma trận A21→A29 (kích thước 3x3) tương ứng với 09 bảng tín hiệu đầu ra bậc hai; ma trận B2 (kích thước 9x9) thành 09 bộ B21→B29 (kích thước 3x3) tương ứng với 09 bảng giá trị tín hiệu đầu vào

, ; , ; ,3

1, ; , ; ,

1) hàm V(t) xác định dương và âm, hay ( ) max

t max V t =V

thì hệ thống được mô tả theo các phương trình 2.1, 2.2 ổn định đầy đủ

Luận án sử dụng kết quả của định lý 2 trình bày tại mục 1.1.3.2, mạng SOCeNNs ổn định tại điểm cân bằng sau thời gian quá độ khi thỏa mãn điều kiện dưới đây:

1

( i, j;i, j )

R x

t lim x t và ij 1

2.2 Phát triển luật học trong mạng nơ ron tế bào bậc hai

2.2.1 Thuật toán học có giám sát cho SOCeNNs - Luật học SORPLA

Nghiên cứu sinh biến đổi mạng SOCeNNs có đặc tính hồi quy sang mạng truyền thẳng bằng

cách đặt một ma trận trọng số tổng W chứa các trọng số A1, A2, B1, B2 và I như sau:

tương ứng với 101 toán hạng của ma trận trọng số tổng W Nghiên cứu sinh xác định giá trị bộ trọng

số W của SOCeNNs được thực hiện theo phương pháp định tính Thử–Sai–Chỉnh

Sai lệch giữa đầu ra thực tế và đầu ra mong muốn được tính như sau:

2.2.2 Tính hội tụ của thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc hai

Phần trên, luận án đã đề xuất luật học Perceptron hồi quy để tìm bộ trọng số A1, B1, I, A2, B2

Hai vấn đề đặt ra là: thuật toán có hội tụ không và nếu hội tụ thì các bộ ma trận trọng số này đã là phương án tối ưu toàn cục cho SOCeNNs chưa? Thực tế, sự hội tụ của thuật toán SORPLA là một điều kiện quan trọng để đảm bảo trong quá trình tính toán với một số lần lặp hữu hạn Và phần này NCS chứng minh tính hội tụ của thuật toán Perceptron cho mạng nơ ron tế bào bậc hai, việc chứng minh được tiến hành theo các bước dưới đây:

➢ Bước 1: Sử dụng thuật toán Widrow-Hoff (hay phương pháp bình phương tối thiểu: LMS) để chứng minh luật học Perceptron là trường hợp riêng của phương pháp LMS khi sử dụng hàm tương tác đầu ra của CeNNs là hàm bão hòa tuyến tính từng đoạn

➢ Bước 2: Sử dụng kết quả tính ổn định của mạng nơ ron tế bào bậc hai tại mục 2.2.3 để khẳng định tín hiệu đầu ra thực tế yi tại trạng thái ổn định tiệm cận tín hiệu đầu ra mong muốn di

tức là (d i−y i)→0, từ đó dẫn tới giá trị cập nhật trọng số của luật học Perceptron tiến đến 0 Trong luận án sử dụng đối tượng là mạng nơ ron tế bào có hàm tương tác đầu ra là hàm bão hòa tuyến tính từng đoạn nên NCS dùng luật học hạ Gradient (hay còn gọi là luật học Widrow-Hoff)

để suy ra nó tương đương với luật học Perceptron Từ đó rút ra được quan hệ hai luật học theo hai Bổ

Từ những Bổ đề 2.1, Bổ đề 2.2 và Định lý 2.2, có thể khẳng định luật học Perceptron hồi quy

áp dụng cho mạng nơ ron tế bào bậc nhất, và bậc hai đều hội tụ Hạt nhân của thuật toán Perceptron hồi quy bậc hai là luật học học Perceptron tương ứng nên thuật toán đó hội tụ

2.3 Thử nghiệm thuật toán SORPLA cho bài toán xử lý ảnh

2.3.1 Đánh giá các bộ trọng số của thuật toán SORPLA

Trong phần này, NCS thử nghiệm các bộ ma trận tính toán từ phương pháp học SORPLA để

áp dụng cho bài toán tách biên ảnh Việc đánh giá kết quả tách biên, NCS sử dụng phương pháp đánh giá trực quan nhằm chứng minh kết quả của thuật toán có khả năng áp dụng cho một ví dụ cụ thể