Mạng hopfield và ứng dụng trong nhận dạng hình ảnh

Nó là một bộ phận quan trọng trong các hệ thống thông minh; được sử dụng trong việc dò tìm, xử lý số liệu và hỗ trợ ra quyết định, … Nói một cách tổng quát thì nhận dạng là một bộ môn kh

HOÀNG CHÍ THÀNH

MẠNG HOPFIELD VÀ ỨNG DỤNG TRONG NHẬN DẠNG HÌNH ẢNH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

HOÀNG CHÍ THÀNH

MẠNG HOPFIELD VÀ ỨNG DỤNG TRONG NHẬN DẠNG HÌNH ẢNH

Chuyên ngành: Khoa học máy tính

Mã số: 60 48 01 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS Vũ Vinh Quang

THÁI NGUYÊN - 2016

LỜI CẢM ƠN

Xin chân thành cảm ơn Thầy TS Vũ Vinh Quang đã tận tình chỉ dạy,

hướng dẫn tôi trong suốt thời gian học tập và làm luận văn

Tôi cũng xin biết ơn chân thành đến các Thầy giáo Viện Công nghệ Thông tin đã giảng dạy, giúp đỡ trong suốt thời gian học tập

Xin cảm ơn tất cả các anh chị em học viên Cao học khóa 13, cảm ơn các cán bộ công chức, giảng viên Trường đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên đã tạo điều kiện tốt cho tôi trong suốt hai năm học đã qua

Xin cảm ơn các bạn bè, đồng nghiệp đã chỉ bảo tôi rất nhiều trong thời gian thực hiện luận văn này

Cuối cùng, xin chân thành cảm ơn các thành viên trong gia đình đã động viên và tạo mọi điều kiện thuận lợi để tôi có được kết quả như ngày hôm nay

Thái Nguyên, tháng 06 năm 2016

Người viết luận văn

Hoàng Chí Thành

LỜI CAM ĐOAN

Tên tôi là: Hoàng Chí Thành

Sinh ngày: 14/10/1979

Học viên lớp cao học CK13A - Trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên

Hiện đang công tác tại: Trường THPT Ngọc Hà - TP Hà Giang - Hà Giang

Tôi xin cam đoan đề tài luận văn “Mạng Hopfield và ứng dụng trong nhận dạng hình ảnh” là công trình nghiên cứu của bản thân tôi Các số liệu,

kết quả nghiên cứu trong luận văn này là trung thực và chưa từng được ai công

bố trong một công trình nào khác Tôi xin chịu trách nhiệm về luận văn của mình

Thái Nguyên, ngày 25 tháng 6 năm 2016

TÁC GIẢ LUẬN VĂN

Hoàng Chí Thành

MỤC LỤC

LỜI CẢM ƠN i

LỜI CAM ĐOAN ii

DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ v

LỜI MỞ ĐẦU 1

CHƯƠNG I MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG ẢNH 3

1.1 Không gian biểu diễn đối tượng 3

1.2 Không gian diễn dịch 4

1.3 Mô hình và bản chất quá trình nhận dạng 4

1.3.1 Mô hình 4

1.3.2 Bản chất của quá trình nhận dạng 6

1.4 Nhận dạng ảnh 8

1.4.1 Nhận dạng dựa trên phân hoạch không gian 9

1.4.2 Nhận dạng dựa theo cấu trúc 10

1.4.3 Nhận dạng dựa vào kỹ thuật mạng neural 12

CHƯƠNG II CƠ SỞ LÝ THUYẾT VỀ MẠNG NEURAL 13

2.1 Giới thiệu chung về mạng Neural 13

2.1.1 Quá trình phát triển 13

2.1.2 Cấu trúc mạng neural nhân tạo 15

2.1.3 Cấu trúc mạng Neural sinh học 16

2.2 Khái niệm cơ bản 20

2.2.1 Neural nhân tạo và mạng Neural nhân tạo 20

2.2.2 Khái niệm mạng Hopfield 24

2.3 Phân loại mạng Hopfield 25

2.4 Mạng Hopfield rời rạc 28

2.5 Mạng Hopfield liên tục 29

2.6 Một số đặc điểm của mạng Hopfield 32

2.8 Khả năng nhớ mẫu của mạng Hopfield 32

2.9 Ưu, nhược điểm của mạng Hopfield 34

2.9.1 Ưu điểm của mạng Hopfield 34

2.9.2 Nhược điểm của mạng Hopfield 34

CHƯƠNG 3 ỨNG DỤNG MẠNG HOPFIELDTRONG BÀI TOÁN NHẬN DẠNG HÌNH ẢNH 35

3.1 Mô tả hệ thống nhận dạng dựa trên mạng Hopfield 35

3.1.1 Mạng Hopfield với bài toán tối ưu 35

3.1.2 Các bước thành lập mạng Hopfield: 36

3.2 Mạng Hopfield với bài toán nhận dạng hình ảnh 37

3.2.1 Bài toán về nhận dạng hình ảnh 37

3.2.2 Mạng Hopfield trong nhận dạng hình ảnh 37

3.2.3 Huấn luyện mạng Hopfield 39

3.2.4 Thuật toán mạng Neural Hopfield trong bài toán nhận dạng hình ảnh 40

3.3 Ứng dụng mạng Hopfield trong nhận dạng ảnh 41

3.4 Đánh giá kết quả nghiên cứu ứng dụng mạng Hopfield trong nhận dạng ảnh 49

3.4.1 Mục tiêu của chương trình 49

3.4.2 Demo và hình ảnh 50

3.4.3 Đánh giá kết quả 55

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 56

TÀI LIỆU THAM KHẢO 57

DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ

Hình 1.1 Mô hình cấu trúc của đối tượng nhà 6

Hình 1.2 Sơ đồ tổng quát một hệ nhận dạng 8

Hình 2.1 Cấu trúc mạng neural 15

Hình 2.2 Mô hình tế bào thần kinh 19

Hình 2.3 Mô hình xử lý của một neural nhân tạo 21

Hình 2.4 Mạng Hopfield 26

Hình 2.5 Đồ thị hàm satlins 26

Hình 2.6 Mô hình mạng Hopfield 30

Hình 2.7 Thí nghiệm mạng với ảnh nhiễu 33

Hình 3.1: Mạng Hopfield một lớp với 16 neural vào và 16 neural ra 41

Hình 3.2 Thí nghiệm mạng với ảnh nhiễu 49

LỜI MỞ ĐẦU

Kỹ thuật nhận dạng hiện nay đã và đang được nhiều người quan tâm hiện nay, đặc biệt trong anh ninh quốc phòng: như nhận dạng hình ảnh, nhận dạng mẫu tóc, nhận dạng vân tay,… là một ngành khoa học có rất nhiều ứng dụng trong khoa học kỹ thuật, tin học, sinh học và cả trong lĩnh vực an ninh quốc gia

Nó là một bộ phận quan trọng trong các hệ thống thông minh; được sử dụng trong việc dò tìm, xử lý số liệu và hỗ trợ ra quyết định, … Nói một cách tổng quát thì nhận dạng là một bộ môn khoa học có liên quan một cách hữu cơ đến việc phân lớp, tính toán các độ đo

Trong lý thuyết nhận dạng nói chung và nhận dạng ảnh nói riêng có ba cách tiếp cận khác nhau:

- Nhận dạng dựa vào phân hoạch không gian

- Nhận dạng theo cấu trúc

- Nhận dạng dựa vào kỹ thuật mạng neural

Hai cách tiếp cận đầu là các kỹ thuật kinh điển Các đối tượng ảnh quan sát và thu nhận được phải trải qua giai đoạn tiền xử lý nhằm tăng cường chất lượng, làm nổi các chi tiết, tiếp theo là trích chọn và biểu diễn các đặc trưng,

và cuối cùng mới qua giai đoạn nhận dạng Cách tiếp cận thứ ba hoàn toàn khác Nó dựa vào cơ chế đoán nhận, lưu trữ và phân biệt đối tượng mô phỏng theo hoạt động của hệ thần kinh con người Do cơ chế đặc biệt, các đối tượng thu nhận bởi thị giác người không cần qua giai đoạn cải thiện mà chuyển ngay sang giai đoạn tổng hợp, đối sánh với các mẫu đã lưu trữ để nhận dạng Đây là cách tiếp cận có nhiều hứa hẹn Trong các mạng Neural thì mạng Hopfield thường được sử dụng trong lý thuyết nhận dạng do những ưu điểm riêng biệt cấu trúc mạng này Hướng nghiên cứu mạng Hopfield sử dụng trong nhận dạng ảnh nói chung là một hướng phù hợp với chuyên ngành khoa học máy tính và

có ứng dụng cao

- Lý thuyết cơ bản về Bài toán nhận dạng ảnh

- Cấu trúc của mạng Hopfield

- Một số thuật toán học trên mạng Hopfield

Nội dung nghiên cứu chính của luận văn được trình bày trong ba chương như sau:

Chương 1: Một số kiến thức cơ bản về nhận dạng ảnh

Chương 2: Cơ sở lý thuyết về mạng Neural

Chương 3: Ứng dụng mạng Hopfield trong bài toán nhận dạng hình ảnh

CHƯƠNG 1 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG ẢNH

Nhận dạng nói chung hay nhận dạng ảnh nói riêng là quá trình phân loại các đối tượng được biểu diễn theo một mô hình nào đó và gán cho chúng vào một lớp (gán cho đối tượng một tên gọi) dựa theo những quy luật và các mẫu chuẩn Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ họa phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn Kết quả đầu ra của một quá trình

xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận Quá trình nhận dạng

dựa vào những mẫu học biết trước gọi là nhận dạng có thầy hay học có thầy (supervised learning); trong trường hợp ngược lại gọi là học không có thầy

(non supervised learning) Chúng ta sẽ lần lượt giới thiệu các khái niệm này Các kiến thức dưới đây được tham khảo từ [1], [2], [3]

1.1 Không gian biểu diễn đối tượng

Các đối tượng khi quan sát hay thu thập được, thường được biểu diễn bởi tập các đặc trưng hay đặc tính Như trong trường hợp xử lý ảnh, ảnh sau khi được tăng cường để nâng cao chất lượng, phân vùng và trích chọn đặc tính, được biểu diễn bởi các đặc trưng như biên, miền đồng nhất, Người ta thường phân các đặc trưng này theo các loại như: đặc trưng tô pô, đặc trưng hình học

và đặc trưng chức năng Việc biểu diễn ảnh theo đặc trưng nào là phụ thuộc vào ứng dụng tiếp theo

Ở đây ta đưa ra một cách hình thức việc biểu diễn các đối tượng Giả sử đối tượng X (ảnh, chữ viết, dấu vân tay, ) được biểu diễn bởi n thành phần (n đặc trưng): X = {x1, x2, , xn}; mỗi xi biểu diễn một đặc tính Không gian biểu diễn đối tượng thường gọi tắt là không gian đối tượng X được định nghĩa:

X = {X1, X2, , Xm}

trong đó mỗi Xi biểu diễn một đối tượng Không gian này có thể là vô hạn Để tiện xem xét chúng ta chỉ xét tập X là hữu hạn

1.2 Không gian diễn dịch

Không gian diễn dịch là tập các tên gọi của đối tượng Kết thúc quá trình nhận dạng ta xác định được tên gọi cho các đối tượng trong tập không gian đối tượng hay nói là đã nhận dạng được đối tượng Một cách hình thức gọi

 là tập tên đối tượng:

= {w1, w2, ,wk} với wi, i = 1, 2, , k là tên các đối tượng

Quá trình nhận dạng đối tượng f là một ánh xạ f: X -> với f là tập các quy luật để định một phần tử trong X ứng với một phần tử trong  Nếu tập các quy luật và tập tên các đối tượng là biết trước như trong nhận dạng chữ viết (có

26 lớp từ A đến Z), người ta gọi là nhận dạng có thầy Trường hợp thứ hai là nhận dạng không có thầy Đương nhiên trong trường hợp này việc nhận dạng

có khó khăn hơn

1.3 Mô hình và bản chất quá trình nhận dạng

1.3.1 Mô hình

Việc chọn lựa một quá trình nhận dạng có liên quan mật thiết đến kiểu

mô tả mà người ta sử dụng để đặc tả đối tượng Trong nhận dạng, người ta phân chia làm hai họ lớn:

- Họ mô tả theo tham số

- Họ mô tả theo cấu trúc

Cách mô tả được lựa chọn sẽ xác định mô hình của đối tượng Như vậy,

chúng ta sẽ có 2 loại mô hình: mô hình theo tham số và mô hình cấu trúc

 Mô hình tham số:

Sử dụng một véc tơ để đặc tả đối tượng Mỗi phần tử của véc tơ mô tả

ta sử dụng các hàm cơ sở trực giao để biểu diễn Và như vậy ảnh sẽ được biểu diễn bởi một chuỗi các hàm trực giao Giả sử C là đường bao của ảnh và C(i,j)

là điểm thứ i trên đường bao, i = 1, 2, , N (đường bao gồm N điểm)

là chu tuyến

Việc lựa chọn phương pháp biểu diễn sẽ làm đơn giản cách xây dựng Tuy nhiên, việc lựa chọn đặc trưng nào là hoàn toàn phụ thuộc vào ứng dụng

 Mô hình cấu trúc:

Cách tiếp cận của mô hình này dựa vào việc mô tả đối tượng nhờ một

số khái niệm biểu thị các đối tượng cơ sở trong ngôn ngữ tự nhiên Để mô tả đối tượng, người ta dùng một số dạng nguyên thuỷ như đoạn thẳng, cung, Chẳng hạn một hình chữ nhật được định nghĩa gồm 4 đoạn thẳng vuông góc với nhau từng đôi một Trong mô hình này người ta sử dụng một bộ kí hiệu kết thúc Vt, một bộ kí hiệu không kết thúc gọi là Vn Ngoài ra có dùng một tập các luật sản xuất để mô tả cách xây dựng các đối tượng phù hợp dựa trên các đối

tượng đơn giản hơn hoặc đối tượng nguyên thuỷ (tập Vt) Trong cách tiếp cận này, ta chấp nhận một khẳng định là: cấu trúc một dạng là kết quả của việc áp dụng luật sản xuất theo những nguyên tắc xác định bắt đầu từ một dạng gốc ban đầu Một cách hình thức, ta có thể coi mô hình này tương đương một văn phạm

Hình 1.1 Mô hình cấu trúc của đối tượng nhà

1.3.2 Bản chất của quá trình nhận dạng

Quá trình nhận dạng gồm 3 giai đoạn chính:

- Lựa chọn mô hình biểu diễn đối tượng

- Lựa chọn luật ra quyết định (phương pháp nhận dạng) và suy diễn quá trình học

Khi mô hình biểu diễn đối tượng đã được xác định, có thể là định lượng (mô hình tham số) hay định tính (mô hình cấu trúc), quá trình nhận dạng chuyển sang giai đoạn học Học là giai đoạn rất quan trọng Thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tượng thành các lớp

Việc nhận dạng chính là tìm ra quy luật và các thuật toán để có thể gán đối tượng vào một lớp hay nói một cách khác gán cho đối tượng một tên

 Học có thầy (supervised learning)

Kỹ thuật phân loại nhờ kiến thức biết trước gọi là học có thầy Đặc điểm

cơ bản của kỹ thuật này là người ta có một thư viện các mẫu chuẩn Mẫu cần nhận dạng sẽ được đem so sánh với mẫu chuẩn để xem nó thuộc loại nào Thí

dụ như trong một ảnh viễn thám, người ta muốn phân biệt một cánh đồng lúa, một cánh rừng hay một vùng đất hoang mà đã có các miêu tả về các đối tượng

đó Vấn đề chủ yếu là thiết kế một hệ thống để có thể đối sánh đối tượng trong ảnh với mẫu chuẩn và quyết định gán cho chúng vào một lớp Việc đối sánh

nhờ vào các thủ tục ra quyết định dựa trên một công cụ gọi là hàm phân lớp hay hàm ra quyết định

 Học không có thầy (non supervised learning)

Kỹ thuật học này phải tự định ra các lớp khác nhau và xác định các tham

số đặc trưng cho từng lớp Học không có thầy đương nhiên là khó khăn hơn Một mặt, do số lớp không được biết trước, mặt khác những đặc trưng của các lớp cũng không biết trước Kỹ thuật này nhằm tiến hành mọi cách gộp nhóm

có thể và chọn lựa cách tốt nhất Bắt đầu từ tập dữ liệu, nhiều thủ tục xử lý khác nhau nhằm phân lớp và nâng cấp dần để đạt được một phương án phân loại

Nhìn chung, dù là mô hình nào và kỹ thuật nhận dạng ra sao, một hệ thống nhận dạng có thể tóm tắt theo sơ đồ sau:

Hình 1.2 Sơ đồ tổng quát một hệ nhận dạng

1.4 Nhận dạng ảnh

Nhận dạng ảnh là giai đoạn cuối của các hệ thống xử lý ảnh Nhận dạng dựa trên lý thuyết nhận dạng (Pattern Recognition) đã được đề cập trong nhiều sách về nhận dạng Trong lý thuyết nhận dạng nói chung và nhận dạng ảnh nói riêng có ba cách tiếp cận khác nhau:

- Nhận dạng dựa vào phân hoạch không gian

- Nhận dạng dựa vào cấu trúc

- Nhận dạng dựa vào kỹ thuật mạng neural

Nhận dạng ảnh là quá trình phân loại các đối tượng ảnh được biểu diễn theo một mô hình nào đó và gán cho chúng một tên (gán cho một đối tượng một tên gọi, tức là một dạng)

Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng mà người

ta muốn đặc tả nó Quá trình nhận dạng thường đi sau quá trình trích chọn các đặc tính chủ yếu của đối tượng Có hai kiểu mô tả đối tượng:

- Mô tả tham số (nhận dạng theo tham số)

xử lý

Trên thực tế, người ta đã áp dụng kỹ thuật nhận dạng khá thành công với nhiều đối tượng khác nhau như: nhận dạng ảnh vân tay, ảnh khuôn mặt, nhận dạng chữ (chữ cái, chữ số, chữ có dấu)

Nhận dạng chữ in hoặc đánh máy phục vụ cho việc tự động hoá quá trình đọc tài liệu, tăng nhanh tốc độ và chất lượng thu nhận thông tin từ máy tính

Nhận dạng chữ viết tay (với mức độ ràng buộc khác nhau về cách viết, kiểu chữ, ) phục vụ cho nhiều lĩnh vực

Ví dụ:

Bạn đang có trong tay một số tài liệu giấy như sách, báo, tờ rơi quảng cáo, hợp đồng, …, máy quét chỉ có thể giúp bạn biến những tài liệu giấy này thành tài liệu dạng ảnh Với các tài liệu dạng ảnh, bạn chỉ có thể đọc mà không thể biên tập lại chúng trên các hệ soạn thảo điện tử hiện nay; các hệ thống tìm kiếm cũng không thể tìm được các đoạn văn bản trên những tài liệu này Với chương trình nhận dạng sẽ giúp ta nhận dạng các tài liệu đó dưới dạng file ảnh, rồi từ đó biên dịch nó sang các định dạng như: doc, text, …

1.4.1 Nhận dạng dựa trên phân hoạch không gian

Trong kỹ thuật này các đối tượng nhận dạng là các đối tượng định lượng Mỗi đối tượng được biểu diễn bởi một véctơ nhiều chiều Trước tiên ta xem xét một số khái niệm như: phân hoạch không gian, hàm phân biệt sau đó đi vào một số kỹ thuật cụ thể

 Phân hoạch không gian:

Giả sử không gian đối tượng X được định nghĩa: X = {Xi, i=1, 2, …,m},

Xi là một véctơ Người ta nói p là một phân hoạch không gian X thành các lớp

loại là dựa vào việc xây dựng một ánh xạ f: X -> p Công cụ xây dựng ánh xạ này là các hàm phân biệt (Descriminant functions)

 Hàm phân lớp

Để chia đối tượng thành các lớp, cần xác định số lớp và ranh giới giữa các lớp đó Gọi {gi} là lớp các hàm phân lớp hay hàm tách biệt Lớp hàm này được định nghĩa như sau:

Nếu ∀i ≠k, gk (X) > gi (X) thì ra quyết định X ∈lớp k

Như vậy để phân biệt k lớp ta cần k-1hàm phân biệt Hàm phân biệt g(.) của một lớp nào đó thường được dùng trong thực tế do tính đơn giản, dễ xử lý

• Phân lớp dựa theo xác suất có điều kiện (Conditional Probability) Trong một số trường hợp, người ta dựa vào xác suất có điều kiện để phân lớp cho đối tượng Lý thuyết xác suất có điều kiện được Bayes nghiên cứu khákỹ lưỡng và được dùng để phân biệt đối tượng

1.4.2 Nhận dạng dựa theo cấu trúc

Ngoài cách biểu diễn định lượng (theo tham số) như đã mô tả ở trên, tồn tại nhiều kiểu đối tượng mạng tính định tính (theo cấu trúc) Phương pháp nhận

dạng ở đây là nhận dạng logic, dựa vào hàm phân biệt là hàm Bool Cách nhận dạng là nhận dạng các từ có cùng độ dài

Giả sử hàm phân biệt cho mọi ký hiệu là: ga(X), gb(X),… tương ứng với các ký hiệu a, b,…Để dễ dàng hình dung, ta giả sử có từ ‘abcd’ được biểu diễn bởi một dãy ký tự Xx1, x2, x3, x4, khi đó hàm phân biệt tương ứng nhận được là:

g x1 +g x2 +g x3 +g x4

Thủ tục phân loại và nhận dạng ở đây gồm hai giai đoạn:

- Giai đoạn 1: xác định các quy tắc xây dựng, tương đương với việc nghiên cứu một văn phạm trong một ngôn ngữ chính thống

- Giai đoạn 2: xem xét tập các dạng trong không gian mẫu có được sinh

ra hoàn toàn từcác dạng cơ bản đó không Nếu nó thuộc tập đó thì coi như đã phân loại xong

Các đối tượng cần được nhận dạng theo phương pháp này được biểu diễn bởi một câu trong ngôn ngữ, gọi là L(G) Khi đó thao tác phân lớp chính là xem xét một đối tượng có thuộc văn phạm L(G) không Nói cách khác, nó có được sinh ra bởi các luật của văn phạm G hay không Như vậy các bước cần phải thực hiện là:

+ Xác định tập V1 chung cho tất cảmọi đối tượng

+ Xác định các quy tắc P để sản sinh ra một câu và chúng khác nhau đối với mỗi lớp

+ Thực hiện quá trình học với các câu biểu diễn các đối tượng mẫu l nhằm xác định văn phạm G

+ Ra quyết định: xác định một đối tượng X được biểu diễn bởi một câu lx Nếu lx nhận biết bởi L(Gk) thì ta nói rằng X là một đối tượng thuộc loại Ck

1.4.3 Nhận dạng dựa vào kỹ thuật mạng neural

Là kỹ thuật tái tạo mạng neural thần kinh của con người bằng máy tính

Nó bao gồm các phần tử đơn giản (còn gọi là neural) hoạt động song song được nối với nhau bằng các liên kết có trọng số để kích thích hoặc ức chế giữa các neural Có nhiều cấu trúc mạng neural khác nhau như: mạng neural sinh học, mạng neural nhân tạo, mạng neural hồi quy, mạng neural hồi quy một lớp, mạng neural một lớp,… Trước tiên, cần xem xét một số khái niệm cơ bản về

bộ não cũng như cơ chế hoạt động của mạng neural sinh học

CHƯƠNG 2

CƠ SỞ LÝ THUYẾT VỀ MẠNG NEURAL

Mạng Neuron nhân tạo (Artificial Neural Network- ANN) là mô hình xử

lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các Neural được gắn kết để xử lý thông tin ANN giống như bộ não con người, được học bởi kinh nghiệm (thông qua huấn luyện),

có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết (unseen data)

Các ứng dụng của mạng Neural được sử dụng trong rất nhiều lĩnh vực như điện, điện tử, kinh tế, quân sự,… để giải quyết các bài toán có độ phức tạp

và đòi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận dạng,… Các kiến thức về mạng neural được tham khảo từ [4], [6], [7]

2.1 Giới thiệu chung về mạng Neural

2.1.1 Quá trình phát triển

Mạng neural nhân tạo được xây dựng từ những năm 1940 nhằm mô phỏng một số chức năng của bộ não người Dựa trên quan điểm cho rằng bộ não người là bộ điều khiển Mạng neural nhân tạo được thiết kế tương tự như neural sinh học sẽ có khả năng giải quyết hàng loạt các bài toán như tính toán tối ưu, điều khiển, công nghệ robot…

Nghiên cứu về mạng neural nhân tạo người ta chia quá trình phát triển của nó làm bốn giai đoạn cơ bản sau:

+ Giai đoạn một: Là sự khởi nguồn của mạng neural, nó bắt đầu bằng nghiên cứu của William 1890 về tâm lý với sự liên kết các neural thần kinh Cho đến năm 1940 Meculloch và Pitts đã đưa ra: neural có thể được mô hình hóa như là thiết bị ngưỡng (có giới hạn) để thực hiện phép biến đổi logic, tiếp sau đó là sự ra đời mô hình mạng neural của Culloch-Pitts Đến năm 1943 thì giải thuật huấn luyện mạng đầu tiên của Hebb được công bố

+ Giai đoạn hai: Đến năm 1960, các mô hình neural hoàn thiện hơn đã lần lượt ra đời như: Năm 1958 mô hình Perceptron của Rosenbalt, năm 1962

mô hình Adline của Widrow Trong đó nổi bật lên là mô hình Adaline, đó là một mô hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều kiện thích nghi, tách nhiễu, và vẫn phát triển tới ngày nay

+ Giai đoạn ba: Giai đoạn này được tính từ năm 1980, đây có thể coi là giai đoạn đột phá với những đóng góp lớn lao đó là: Grossberg, Kohnem, Rumelhart và Hopfield

Năm 1982 trong bài báo gửi tới viện khoa học quốc gia, John Hopfieldbằng sự phân tích toán học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng neural làm việc và những công việc chúng có thể thực hiện được Đặc biệt hơn là ông đã dự kiến được những khả năng tính toán của mạng mà một neural không thể có Cống hiến của Hopfield không chỉ ở giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại các nghiên cứu về mạng neural

Sáng kiến Hopfield đã được Rumelhart, Hinton và Wiliam phát triển cho

ra đời thuật toán sai số truyền ngược nổi tiếng cho việc huấn luyện mạng neural nhiều lớp nhằm giải quyết những bài toán đặc thù Ngoài ra còn có sự ra đời của mạng Neocognition của Fukushima và mạng theo kiểu máy Bolrzmann

+ Giai đoạn bốn: Giai đoạn này được tính từ năm1987 đến nay

Năm 1987, hội thảo quốc tế đầu tiên về mạng neural của Viện các kỹ sư điện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu hút hơn 1800 người tham gia

Hàng năm trên thế giới đều mở hội nghị toàn cầu về chuyên ngành mạng neural IJCNN (internationnal Joint Conference on Neural Networks) Cho đến nay mạng Neural đã được ứng dụng một cách rộng rãi trong rất nhiều lĩnh vực như: y học, thống kê, giao thông, hóa học, kỹ thuật tính, tối ưu, quân sự, …

2.1.2 Cấu trúc mạng neural nhân tạo

Mạng neural nhân tạo (Atificial Neural Network) được tạo thành từ việc liên kết các neural lại với nhau Ở đây các neural được tổ chức thành từng lớp Đầu ra của mỗi neural sẽ được nối đến đầu vào của một số neural lớp khác theo cấu trúc phù hợp

Xét một cách tổng quát, mạng neural nhân tạo có cấu trúc xử lý song song thông tin phân tán mang một số đặc tính nổi bật sau:

- Là mô hình toán học dựa trên bản chất của neural

- Bao gồm một số lượng rất lớn các neural liên kết với nhau

- Mạng neural có khả năng học, khái quát hóa tập dữ liệu thông qua việc gán và hiệu chỉnh các trọng số liên kết

- Tổ chức theo kiểu tập hợp mang lại cho mạng neural khả năng tính toán rất lớn, trong đó không có neural nào mang thông tin riêng biệt

Cấu trúc của mạng neural nhân tạo thường có các lớp sau: lớp vào (input layer), lớp ra (output layer) và các lớp ẩn (hidden layer) Với mạng neural thì các neural một lớp chỉ nối tới các neural lớp khác, không có sự liên kết giữa các neural cùng lớp

Lớp vào là lớp nhận thông tin từ dữ liệu gốc Thông tin này được đưa đến một số hay toàn bộ các neural lớp tiếp theo (hidden layer) Như vậy mỗi nút sẽ nhận được tín hiệu của một hay một số các nút từ lớp vào Dữ liệu này

sẽ được xử lý bên trong thân neural bởi các hệ số và các hàm đầu vào, hàm đầu

ra để đưa tín hiệu ra ở đầu ra Tín hiệu này sẽ là tín hiệu đầu vào của lớp tiếp theo Quá trình xử lý tương tự cho đến khi tín hiệu được đưa ra ở các nút lớp

ra Đây chính là tín hiệu ra của mạng và là giá trị cần tìm

Với hình thức giả lập mạng neural sinh học nhưng mạng neural nhân tạo cũng chỉ đạt ở mức hết sức đơn giản Bộ não con người đồng thời có thể kích hoạt song song hoạt động của nhiều neural và độ phức tạp của các neural là rất cao, với mạng neural nhân tạo thì điều đó đang là một thách thức lớn Tuy vậy với ưu điểm về tốc độ xử lý của máy tính hiện đại (là cao hơn rất nhiều so với

bộ não con người) và sự phát triển không ngừng của khoa học ngày nay thì ta

có thể hi vọng sẽ có những bước đột phá mới trong lĩnh vực mô phỏng mạng

neural sinh học

2.1.3 Cấu trúc mạng Neural sinh học

Não là tổ chức vật chất cao cấp, có cấu tạo vô cùng phức tạp, dày đặc các mối liên kết giữa các neural nhưng xử lý thông tin rất linh hoạt trong một môi trường bất định

Trong bộ não có khoảng 11 12

10  10 neural và mỗi neural có thể liên kết với 4

10 neural khác qua các khớp nối Những kích hoạt hoặc ức chế này được truyền qua trục neural (axon) đến các neural khác

Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên kết khớp thần kinh khá mềm dẻo, có thể biến động và điều chỉnh theo thời gian

kết mới với các neural khác và đôi khi, lưới các neural có thể di trú từ vùng này sang vùng khác trong bộ não Các nhà khoa học cho rằng đây chính là cơ sở quan trọng để giải thích cơ chế học của bộ não con người

Phần lớn các quá trình xử lý thông tin đều xảy ra trên vỏ não Toàn bộ

vỏ não được bao phủ bởi mạng các tổ chức cơ sở có dạng hình thùng tròn với đường kích khoảng 0,5mm, độ cao 4mm Mỗi đơn vị cơ sở này chứa khoảng

2000 neural Người ta chỉ ra rằng mỗi vùng não có những chức năng nhất định Điều rất đáng ngạc nhiên chính là các neural rất đơn giản trong cơ chế làm việc, nhưng mạng các neural liên kết với nhau lại có khả năng tính toán, suy nghĩ, ghi nhớ và điều khiển Có thể điểm qua những chức năng cơ bản của bộ não như sau:

- Bộ nhớ được tổ chức theo các bó thông tin và truy nhập theo nội dung (có thể truy xuất thông tin dựa theo giá trị các thuộc tính của đối tượng)

- Bộ não có khả năng tổng quát hoá, có thể truy xuất các tri thức hay các mối liên kết chung của các đối tượng tương ứng với một khái niệm chung nào

đó

- Bộ não có khả năng dung thứ lỗi theo nghĩa có thể điều chỉnh hoặc tiếp tục thực hiện ngay khi có những sai lệch do thông tin bị thiếu hoặc không chính xác Ngoài ra, bộ não còn có thể phát hiện và phục hồi các thông tin bị mất dựa trên sự tương tự giữa các đối tượng

- Bộ não có khả năng xuống cấp và thay thế dần dần Khi có những trục trặc tại các vùng não (do bệnh, chấn thương) hoặc bắt gặp những thông tin hoàn toàn mới lạ, bộ não vẫn có thể tiếp tục làm việc

- Bộ não có khả năng học

 So sánh khả năng làm việc của bộ não và máy tính

Máy tính Bộ não người Đơn vị tính toán Bộ xử lý trung tâm

với 105mạch logic cơ

sở

Mạng 1011neural

1010 bit bộ nhớ ngoài Với 1014 khớp nối thần

kinh

bộ nhớ máy tính được nâng cấp rất nhanh Hơn nữa, sự hơn kém về bộ nhớ trở nên hoàn toàn thứ yếu so với sự khác biệt về tốc độ tính toán và khả năng xử lý song song Các bộ vi xử lý có thể tính 108 lệnh trong một giây, trong khi đó mạng neural xử lý chậm hơn, cần khoảng vài mili giây để kích hoạt Tuy nhiên,

bộ não có thể kích hoạt hầu như cùng một lúc tại rất nhiều neural và khớp nối, trong khi đó ngay cả máy tính hiện đại cũng chỉ có một số hạn chế các bộ vi xử

lý song song Nếu chạy một mạng neural nhân tạo trên máy tính, phải tốn hàng trăm lệnh máy để kiểm tra một neural có được kích hoạt hay không (tiêu phí khoảng 10-8 x 102 giây/neural) Do đó, cho dù bộ vi xử lý có thể tính toán nhanh hơn hàng triệu lần so với các neural bộ não, nhưng xét tổng thể bộ não lại tính toán nhanh hơn hàng tỷ lần

Cách tiếp cận mạng neural nhân tạo có ý nghĩa thực tiễn rất lớn cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc độ tính toán cao của máy tính Tuy vậy, cần phải có một khoảng thời gian dài nữa

để các mạng neural nhân tạo có thể mô phỏng được các hành vi sáng tạo của

bộ não con người Chẳng hạn, bộ não có thể thực hiện một nhiệm vụ khá phức tạp như nhận ra khuôn mặt người quen sau không quá 1 giây, trong khi đó một máy tính tuần tự phải thực hiện hàng tỷ phép tính (khoảng 10 giây) để thực hiện cùng thao tác đó, nhưng với chất lượng kém hơn nhiều, đặc biệt trong trường hợp thông tin không chính xác, không đầy đủ

Bộ não người có mạng lưới gồm khoảng 1011 tế bào thần kinh (gọi là neural) liên kết với nhau Mỗi tế bào thần kinh gồm 3 thành phần chính: Thân

tế bào thần kinh (cell body còn gọi là soma), hệ thống các dây thàn kinh tiếp nhận (dendrites) và một sợi trục thần kinh (axon)

Hình 2.2 Mô hình tế bào thần kinh

Hệ thống dây thần kinh tiếp nhận là một lưới dày đặc các dây thần kinh dạng cây bao bọc xung quanh thân tế bào, chúng dẫn các tín hiệu đến phần thân

tế bào Thân tế bào sẽ tổng hợp các tín hiệu đầu vào này, làm thay đổi điện thế của nó và khi vượt qua mức ngưỡng thì sẽ cho ra một xung điện trên sợi trục thần kinh ra (Axon) Các dây thần kinh axon có thể ra nhiều nhánh để nối đến các dây thần kinh vào hoặc nối trực tiếp với phần thân của các tế bào thần kinh khác thông qua các khớp thần kinh (synapse)

Khi một tế bào thần kinh hoạt động, nó được kích thích tạo ra một tín hiệu điện hóa chạy dọc theo sợi axon và dẫn đến các khớp thần kinh Khớp thần kinh được chia làm 2 loại: khớp nối kích thích (axcitalory) và khớp nối ức chế (inhibitory) Tại các khớp thần kinh này xảy ra các quá trình phản ứng và giải phóng các chất hữu cơ tạo nên các tín hiệu điện kích thích tế bào thần kinh Cường độ tín hiệu mà một tế bào thần kinh nhận được phụ thuộc chủ yếu vào mức độ liên kết của các khớp nối Những nghiên cứu hoạt động của hệ thần kinh đã chỉ ra rằng quá trình “học” của bộ não chính là việc hình thành hoặc thay đổi mức độ liên kết của các khớp nối

2.2 Khái niệm cơ bản

2.2.1 Neural nhân tạo và mạng Neural nhân tạo

2.2.1.1 Neural nhân tạo

Các neural nhân tạo là sự rút gọn của neural sinh học Chúng ta thực hiện chúng dựa vào các chương trình máy tính hoặc bằng các mạch phần cứng Mỗi neural thực hiện hai chức năng cơ bản đó là chức năng đầu vào và chức năng đầu ra Như vậy mỗi neural có thể coi như một đơn vị xử lý (processing element: PE)

Đặc trưng của neural là một hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra Hàm kích hoạt

Mô hình của một nút xử lý (nút thứ i):

Hình 2.3 Mô hình xử lý của một neuralnhân tạo

Ui là tổng tín hiệu vào tại neural i

Vi là tín hiệu ra tại neural i

W ij là trọng số liên kết từ neural i đến neural j

bi là ngưỡng (đầu vào ngoài) kích hoạt neural i

f i là hàm kích hoạt tại neural i

t là thời gian

Các thành phần cơ bản của một neural nhân tạo bao gồm:

+ Tập các đầu vào: Là các tín hiệu vào (input signals) của neural, các tín

hiệu này thường được đưa vào dưới dạng một véc tơ N chiều

+ Tập các liên kết: Liên kết neural là một thành phần của mạng neural nhận tạo để liên kết giữa các neural, nó nối đầu ra của neural lớp này với đầu vào của một neural trong lớp khác.Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên kết - Synaptic weight) Trọng số liên kết giữa tín hiệu vào thứ j với neural k thường được kí hiệu là w

kj Thông thường, các trọng số này

được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng

+ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó

+ Ngưỡng (còn gọi là một độ lệch-bias): Ngưỡng này thường được đưa vào như một thành phần của hàm kích hoạt Nó có tác dụng tăng lên hoặc giảm đi đầu vào thực của hàm kích hoạt, tùy theo nó dương hay âm

+ Hàm kích hoạt (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi neural Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗi neural được giới hạn trong đoạn [0, 1] hoặc [-1, 1] Các hàm kích hoạt rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến Việc lựa chọn hàm kích hoạt nào là tùy thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng

+ Đầu ra: Là tín hiệu đầu ra của một neural, với mỗi neural sẽ có tối đa

2.2.1.2 Mạng Neural nhân tạo (ANN - Afiticial Neural NetWork)

Mạng neural nhân tạo là sự kết hợp các neural nhân tạo với nhau Mỗi liên kết kèm theo theo một trọng số nào đó đặc trưng cho đặc tính kích hoạt ức chế giữa các neural Các neural còn lại là các nút (node) được sắp xếp trong mạng theo các lớp, bao gồm lớp da (output player) và các lớp ẩn (hiden player) + Các đặc điểm của mạng neural nhân tạo:

- Mạng được xây dựng bằng các neural liên kết lại với nhau

- Chức năng của mạng được xác định bởi: cấu trúc mạng, quá trình xử lý bên trong của từng neural, và mức độ liên kết giữa các neural

- Mức độ liên kết giữa các neural được xác định thông qua quá trình học của mạng (quá trình huấn luyện mạng) Có thể xem các trọng số là các phương tiện lưu trữ thông tin dài hạn trong mạng neural Nhiệm vụ của quá trình huấn luyện mạng là cập nhật các trọng số khi có thông tin về mẫu học

+ Một số định nghĩa về mạng neural:

- Mạng neural là một hệ thống gồm nhiều phần tử xử lý hoạt động song song Chức năng của nó được xác định bởi cấu trúc mạng, độ lớn các liên kết và quá trình xử lý tại mỗi nút hoặc đơn vị tính toán

- Một mạng neural là một bộ xử lý song song và đồ sộ, có xu hướng tự nhiên là lưu trữ các tri thức dựa trên kinh nghiệm, và tạo ra tri thức mới dựa vào cái đã có

Nó tương tự với bộ não ở hai khía cạnh:

- Tri thức có được thông qua quá trình học

- Độ lớn liên kết giữa các neural được dùng như một phương tiện lưu trữ thông tin

2.2.2 Khái niệmmạng Hopfield

Năm 1982 nhà vật lý người Mỹ J.J Hopfield đã đề xuất mô hình mạng neural một lớp NN cho phép tạo ánh xạ dữ liệu từ tín hiệu vào sang tín hiệu ra theo kiểu tự kết hợp (auto-association) tức là nếu tín hiệu vào là X thuộc miền giá trị D nào đó thì kết quả ra V:

V = Tinh (X, NN) cũng thuộc vào miền D đó

Nhờ vậy, một véc tơ tín hiệu vào X bị thiếu thông tin hoặc biến dạng có thể được phục hồi dạng nguyên bản của mình

Trong ứng dụng, mạng Hopfield đã mô phỏng được khả năng tự kết hợp (hồi tưởng) của bộ não người, nhận ra người quen sau khi nhận thấy những nét quen thuộc trên khuôn mặt Ngoài ra, với một số cải biên mạng Hopfield còn được dùng để giải quyết các bài toán tối ưu, bài toán xử lý dữ liệu trong điều khiển tự động

Xem xét trên quan điểm lý thuyết điều khiển thì mạng Neural Hopfield

là một hệ tự trị và nó cần phải được ổn định Để xét tính ổn định của nó bằng cách xem xét các hàm năng lượng

Mỗi mô hình mạng Neural với những ưu điểm và nhược điểm riêng của mình, chúng thích hợp với những bài toán, lớp bài toán cụ thể xác định Với những bài toán thuộc lớp bài toán NP, mô hình toán tối ưu tổ hợp, bài toán điều

tắc Một mô hình mạng có thể khắc phục được những nhược điểm của mạng truyền thẳng mà vẫn giải quyết được yêu cầu của các bài toán trên đó là mô hình mạng hồi quy một lớp Một trong những công trình nghiên cứu về mạng hồi quy một lớp tìm thấy được nhiều ứng dụng trong thực tế nhất đó là công trình của Hopfield vào những năm 1980 Trong phần này ta sẽ nghiên cứu về mạng Hopfield

+ Mạng hồi quy một lớp: Mô hình mạng hồi quy một lớp là mô hình các neural tổ chức lại với nhau tạo thành một lớp, các tín hiệu ra của một neural có thể được truyền ngược lại làm tín hiệu vào của các neural trong lớp mà không

là tín hiệu vào của chính nó

+ Mạng Hopfield: Mạng Hopfield là mạng thuộc loại mạng hồi quy một lớp- mạng feedback tầng đơn (Single-layer feedback network)

 Kiến trúc mạng

Mạng Hopfield có một lớp ra, với số neural bằng số tín hiệu vào Các liên kết neural là đầy đủ.Mạng thực hiện một tiến trình cập nhật tuần tự, một mẫu đầu vào trước tiên được cung cấp cho mạng và theo đó đầu ra của mạng được khởi tạo Sau đó, mẫu khởi tạo được xóa đi, đầu ra được cập nhật thông qua các kết nối phản hồi Đầu vào được cập nhật lần thứ nhất sẽ có đầu ra được cập nhật lần thứ nhất, hoạt động này tái diễn, đầu vào được cập nhật lần thứ hai thông qua các liên kết phản hồi và cung cấp đầu ra được cập nhật lần thứ hai Quá trình chuyển tiếp tiếp tục cho đến khi không có sự biến đổi, các đáp ứng cập nhật được cung cấp và mạng đã đạt được trạng thái cân bằng của nó

2.3 Phân loại mạng Hopfield

Về mặt cấu trúc thì mạng Hopfield là mạng chỉ có một lớp neural, trong

đó mỗi neural đều nối với các neural còn lại MạngHopfield được xây dựng dưới dạng mạng một lớp, mỗi neural được truyền ngược lại làm tín hiệu đầu