BÁO cáo môn lý THUYẾT NHẬN DẠNG NHẬN DẠNG vân TAY

được gọi chung là minutiaae.Hình 6: Các điểm minutiae Ridge Ending điểm kết thúc vàBifurcation điểm rẽ nhánh 2.2 TRÍCH CÁC ĐIỂM ĐẶC TRƯNG Bằng các phương pháp xử lý ảnh ta có thể tìm đư

M C L C ỤC LỤC ỤC LỤC

CHƯƠNG 1 : GIỚI THIỆU 5

1.1 GIỚI THIỆU 5

1.2 Ý NGHĨA ĐỀ TÀI 9

CHƯƠNG 2: PHƯƠNG PHÁP NHẬN DẠNG VÂN TAY 9

2.1 CÁC ĐIỂM ĐẶC TRƯNG TRÊN ẢNH VÂN TAY 9

2.2 TRÍCH CÁC ĐIỂM ĐẶC TRƯNG 10

2.3 LÀM NỔI ẢNH VÂN TAY 16

2.4 ĐỐI SÁNH (MATCHING) 19

CHƯƠNG 3 MẠNG NEURAL NHÂN TẠO 21

3.1 TỔNG QUAN VỀ NEURAL – MẠNG NEURAL 21

3.2 MỘT SỐ MƠ HÌNH MẠNG NEURON 27

CHƯƠNG 4: NHẬN DẠNG VÂN TAY BẰNG MẠNG NEURAL 40

4.1 GIỚI THIỆU: 40

4.2 PHƯƠNG PHÁP ĐỀ NGHỊ 40

4.3 THUẬT TOÁN HUẤN LUYỆN MẠNG NEURAL 42

CHƯƠNG 5: THỰC NGHIỆM VÀ KẾT QUẢ 46

5.1 CHƯƠNG TRÌNH 46

5.2 LƯU ĐỒ GIẢI THUẬT 46

5.3 KẾT QUẢ 52

5.4 ĐÁNH GIÁ KẾT QUẢ 54

DANH M C HÌNH NH ỤC LỤC ẢNH

Hình 1: Cấu trúc cơ bản của hệ thống nhận dạng dấu vân tay 5

Hình 2: Một số loại thiết bị chụp vân tay và các thông số kỹ thuật của chúng 6

Hình 3: Ảnh vân tay được chụp từ các thiết bị trên: 7

Hình 4: Mối quan hệ giữa FAR, FRR, SUM và EER theo ngưỡng T 8

Hình 5: Các điểm singularity core và delta 9

Hình 6: Các điểm minutiae Ridge Ending (điểm kết thúc) vàBifurcation (điểm rẽ nhánh) 10

Hình 7: Anh vân tay (a) và trường định hướng của nó (b) 11

Hình 8: Sơ đồ mô tả thuật toán trích các điểm minutiae từ ảnh binary13 Hình 9: Các kết quả của thuật toán 14

Hình 10: Bề mặt của ảnh vân tay với các đường vân (ridge) và các rãnh (ravine) 14

Hình 11: Thiết diện của ường vận tải 15

Hình 12: Điểm cực đại (ic,jc) tương ứng với (is,js) 16

Hình 13: Dịch chuyển theo đường vân từng đoạn ì 16

Hình 14: ảnh I và ảnh chuẩn hóa của nó 18

Hình 15: Kết quả lọc bằng hàm gabor_filter.m (phụ lục) với T = 0.6, ĩx = 1, ĩy = 2 19

Hình 16: Cấu tạo mạng neural sinh học 21

Hình 17: Mô hình neural nhân tạo 23

Hình 18: Mô hình học có giám sát 26

Hình 19: Mô hình học không có giám sát 26

Hình 20: Mô hình huấn luyện tăng cường 27

Hình 21: Mạng perceptron đơn lớp 27

Hình 22: Mạng neural 3 lớp lan truyền ngược 29

Hình 23: Cấu trc của mạng Hopfield 34

Hình 24: Cấu trc của mạng Hopfield với bộ nhớ hai chiều kết hợp (BAM) 36

Hình 25: Mạng hồi quui lan truyền ngược 39

Hình 26: Mơ hình mạng Perceptron một lớp 42

Hình 27: Mô hình mạng Perceptron hai lớp (một lớp ẩn và một lớp ra) 43

Hình 2: Lưu đồ giải thuật trích các điểm đặc trưng 47

Hình 3: Lưu đồ giải thuật quá trình lấy mẫu 48

Hình 4: Lưu đồ giải thuật quá trình đối sánh 49

Hình 5: Các điểm đặc trưng của hai dấu vân tay khác nhau của cùng một ngón tay 50

Hình 6: Kết quả đối sánh khi sử dụng mạng Perceptron một lớp 53

Hình 7: Kết quả đối sánh khi sử dụng mạng Perceptron hai lớp 54

Hình 8: Kết quả đối sánh sử dụng phương pháp được giới thiệu ở phần 2.4 54

CHƯƠNG 1 : GIỚI THIỆU

1.1 GIỚI THIỆU

Ngày nay, các kỹ thuật sinh trắc học ngày càng được ứng dụng rộng rãi.Trong đó, nhận dạng vân tay được xem là một trong những kỹ thuật hoàn thiện vàđáng tin cậy nhất để xác nhận một người Gần đây, kỹ thuật này được chú ý nhiều

và người ta thấy rằng nó thích hợp với những ứng dụng có cơ sở dữ liệu nhỏ,nhưng không thuận tiện cho những ứng dụng có phạm vi lớn Đa số các hệ thốngbảo mật hiện nay được bảo vệ bằng password và PIN (Personal IdentificationNumber), nhưng các phương pháp này đã được chứng minh là không hiệu quả.Bởi vì, password là những con số khó nhớ, dễ quên và dễ bị đánh cắp Bằng cách

sử dụng vân tay và mật mã, việc xác nhận một người có thể được thực hiện bằngmột hệ thống nhận dạng vân tay an toàn và thuận tiên Hình 1.1 là cấu trúc cơ bảncủa hệ thống nhận dạng dấu vân tay Đầu tiên, dấu vân tay của một người cầnđược lấy mẫu (bằng một thiết bị có thể chụp được vân tay – Biometric sensor) vàlưu vào cơ sở dữ liệu (Registration module) Sau đó, khi cần xác nhận người đócung cấp lại một dấu vân tay khác, dấu vân tay này sẽ được so sánh với dấu vântay trong cơ sở dữ liệu để quyết định chấp nhận hay từ chối dựa trên một giá trịngưỡng đối sánh

Hình 1: Cấu trúc cơ bản của hệ thống nhận dạng dấu vân tay

Hiện nay, trên thị trường thế giới đã có bán nhiều loại thiết bị chụp vântay(Fingerprint reader, Fingerprint scanner) với các chất lượng khác nhau Bảng

1.1 giới thiệu một số loại thiết bị chụp vân tay và các thông số kỹ thuật của chúng.Hình 1.2 là ảnh vân tay được chụp từ các thiết bị này Chi tiết hơn có thể thamkhảo ở [15], [16].

Hình 2: Một số loại thiết bị chụp vân tay và các thông số kỹ thuật của chúng

Hình 3: Ảnh vân tay được chụp từ các thiết bị trên:

a) Biometrika FX2000 b) Digital Persona UareU2000 c) Identix DFR200

Giá trị của hai loại lỗi này có mối quan hệ với nhau thông qua giá trị ngưỡngđối sánh T (threshold) là sai lệch cho phép giữa mẫu cần đối sánh với mẫu đượclưu trong cơ sở dữ liệu Khi chọn giá trị ngưỡng thấp thì lỗi từ chối nhầm sẽ tăng,lỗi chấp nhận nhầm sẽ giảm và ngược lại:

Hệ thống thường được đánh giá theo hai cách:

1 Tỷ lệ lỗi cực tiểu SUMmin = (FAR + FRR)min : theo quan điểm dù là loạilỗi gì thì cũng là lỗi, do đó tỷ lệ lỗi cực tiểu SUMmin là hệ số lỗi nhỏ nhất mà hệthống có thể đạt được

2 Mức độ lỗi cân bằng (Equal Error Rate: EER): đó là điểm mà FAR và FRRbằng nhau

Hình 4: Mối quan hệ giữa FAR, FRR, SUM và EER theo ngưỡng T

TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU

Các phương pháp nhận dạng vân tay kinh điển đều dựa vào việc đối sánh(matching) các điểm đặc trưng (feature) trên vân tay Có nhiều phương pháp đốisánh khác nhau Trong bài này, chúng tôi nghiên cứu phương pháp đối sánh bằngmạng neural nhân tạo (Artificial Neural Network)

1.2 Ý NGHĨA ĐỀ TÀI

Đề tài giới thiệu một hướng nghiên cứu và ứng dụng lĩnh vực nhận dạng vântay vào thực tiễn Một lĩnh vực đã khá phổ biến trên thế giới nhưng còn hạn chế ởViệt Nam

CHƯƠNG 2: PHƯƠNG PHÁP NHẬN DẠNG VN TAY

2.1 CÁC ĐIỂM ĐẶC TRƯNG TRÊN ẢNH VÂN TAY

Trên các ảnh vân tay có các điểm đặc trưng (là những điểm đặc biệt mà vị trícủa nó không trùng lặp trên các vân tay khác nhau) được phân thành hai loại:singularity và minutiae

 Singularity: Trên vân tay có những vùng có cấu trúc khác thường so với

những vùng bình thường khác (thường có cấu trúc song song), những vùngnhư vậy goi là singularity Có hai loại singularity là core và delta

Hình 5: Các điểm singularity core và delta

Core thường có một số dạng như sau:

 Minutiae: Khi dò theo từng đường vân ta sẽ thấy có những điểm đường

được gọi chung là minutiaae.

Hình 6: Các điểm minutiae Ridge Ending (điểm kết thúc) vàBifurcation (điểm rẽ nhánh)

2.2 TRÍCH CÁC ĐIỂM ĐẶC TRƯNG

Bằng các phương pháp xử lý ảnh ta có thể tìm được vị trí các điểm đặc trưngtrên các ảnh vân tay

2.2.1 Trích các điểm singularity

a Trường định hướng (orientation field)

Ảnh vân tay là ảnh định hướng, các đường vân là các đường cong theo cáchướng xác định Góc hợp bởi phương của một điểm trên đường vân với phươngngang được gọi là hướng của điểm đó Tập hợp các hướng của các điểm trên ảnhvân tay gọi là trường định hướng của ảnh vân tay đó

Hình 7: Anh vân tay (a) và trường định hướng của nó (b)

− Tính gradient theo hai hướng x, y là Gx, Gy tại mỗi điểm (pixel) trong khối

− Khi đó hướng của điểm chính giữa của khối được xác định theo công thức:

Hàm orientation.m thực hiện tính trường định hướng được giới thiệu trong phần phụ lục

b Xác định các điểm singularity bằng chỉ số Poincare (Poincare index) [3]

Giả sử (i,j) là một điểm bất kỳ trên ảnh vân tay, C là một đường congkhépkính xung quanh (i,j) thì chỉ số Poincare tại (i,j) là tổng đại số các độ sai lệchhướng của các điểm liền kề nhau trên đường cong C

Trong đó: Np là tổng số điểm trên đường cong “số” C ư(x,y) là hướng tại điểm (x,y)

Dựa vào chỉ số Poincare ta có thể xác định các điểm singularity như sau:

Hình 2.5 minh họa cách tính chỉ số poincare tại điểm (i,j) với số điểm trênđường cong “số” Np = 8

Hình 2.5: Cách tính chỉ số poincare tại điểm (i,j) với N p = 8

Hàm poincare.m thực hiên việc tính chỉ số Poincare theo thuật toán trên vàhàm singularity.m xác định các điểm singularity dựa vào chỉ số Poincare (Phụlục)

2.2.2 Trích các điểm minutiae

Có hai phương pháp chính để tìm các điểm minutiae: trích các điểm minutiae

từ ảnh binary và trích các điểm minutiae trực tiếp từ ảnh xám

a.Trích các điểm minutiae từ ảnh binary [5]

Hình 8: Sơ đồ mô tả thuật toán trích các điểm minutiae từ ảnh binary

Ý tưởng chính của phương pháp này là từ ảnh xám ban đầu ta sử dụng các bộlọc thích hợp để phát hiện và làm mảnh đường vân dưới dạng một pixel (ridgedetection), biến đổi ảnh xám ban đầu thành ảnh binary (có giá trị là 0 hoặc 1)tương ứng Sau đó, các điểm minutiae sẽ được trích như sau: giả sử (x,y) là mộtđiểm trên đường vân đã được làm mãnh và N0, N1, …,N7 là 8 điểm xung quanh

Hình 9: Các kết quả của thuật toán

b Trích các điểm minutiae trực tiếp từ ảnh xám [1]

- Dò theo đường vân (Ridge line following) Giả sử I là một ảnh xám có kíchthước là mxn và nếu coi chiều thứ ba z là mức xám tại điểm (i,j) thì bề mặt của ảnhvân tay I có dạng như sau:

Hình 10: Bề mặt của ảnh vân tay với các đường vân (ridge) và các rãnh (ravine)

Theo quan điểm toán học thì đường vân là tập hợp các điểm cực đại dọc theo

vào thuật toán dò theo đường vân Thuật toán này dựa vào việc xác định các điểmcực đại dọc theo hướng của đường vân.

Xác định điểm cực đại

Giả sử ((i t , j t ),ư,ĩ ) là thiết diện của đường vân có điểm chính giữa l (i t , j t) , hướng của thiết diện ư = ϕt+ ð / 2 (ϕt là hướng của đường vân tại(i t , j t) ) và bề rộng của thiết diện m = 2ĩ+1 pixel (hình 2.9) Khi đó, đượcxác định như sau:

và điểm cực đại có thể được xác định bằng cách so sánh mức xám giữa các điểmtrong

Hình 11: Thiết diện của ường vận tải

Tóm lại việc tìm các điểm minutiae bằng thuật toán dò theo đường vân đượcthực hiện như sau (chi tiết xem ở tài liệu tham khảo[1]):

− Lấy một điểm bất kì (is,js) trên ảnh I

− Tìm hướng ư s tại điểm (is,js)

− Tìm điểm cực đại (ic,jc) gần (is,js) nhất

Hình 12: Điểm cực đại (ic,jc) tương ứng với (is,js)

− Tìm hướng ư c tại điểm (ic,jc)

− Dịch chuyển theo hướng ư c một đoạn ì

− Tinh chỉnh lại điểm cực đại (ic,jc) và hướng ư c

− Tiếp tục quá trình này để dò theo đường vân (ridge following) cho đến

khi không phát hiện được điểm cực đại (ic,jc) thì đó là điểm Ridge

Ending hoặc chạm vào một đường vân khác thì đó là điểm Bifurcation

(mỗi đường vân sau khi được dò sẽ được gán nhãn)

− Tiếp theo chọn một điểm (is,js) khác và thực hiện lại quá trình trên cho

đến khi dò hết tất cả các đường vân.

Hình 13: Dịch chuyển theo đường vân từng đoạn ì

2.3 LÀM NỔI ẢNH VÂN TAY

Các ảnh vân tay thường được lấy bằng hai phương pháp: từ mực hoặc từ các

sensor Các ảnh vân tay được lấy từ mực thường có chất lượng thấp và khôngđồng đều Phần này sẽ giới thiệu phương pháp dùng bộ lọc Gabor để cải thiệnchất lượng của ảnh vân tay [8], [13], [14].

Hàm Gabor là một công cụ hữu dụng cho việc xử lý ảnh Nó có đặc tính chọnlọc trong miền không gian lẫn tần số Hàm Gabor 2_D thực có dạng như sau:

Chú ý: nếu mức xám của các vùng khác nhau trên ảnh I không đồng đều

thì có thể chia I thành các khối nhỏ và chuẩn hoá theo từng khối

Hình 14: ảnh I và ảnh chuẩn hóa của nó

(Hàm normalize.m thực hiện chuẩn hóa mức xám được giới thiệu ở phụ lục)

2 Xác định trường định hướng theo phương pháp đã giới thiệu ở trên

3 Sử dụng hàm lọc Gabor cho ảnh đã chuẩn hóa trong miền tần số

− Chia ảnh cần lọc thành từng khối nhỏ kích thước WxW

−Xác định hướng của khối (dựa vào trường định hướng)

−Hướng ư của bộ lọc là hướng của khối

−Sử dụng phép biến đổi FFT và phép biến đổi IFFT cho từng khối ảnh và hàm Gabor

Hình 15: Kết quả lọc bằng hàm gabor_filter.m (phụ lục) với T = 0.6, ĩx = 1, ĩy = 2

2.4 ĐỐI SÁNH (MATCHING)

Hầu hết các phương pháp nhận dạng vân tay đều dựa vào việc đối sánh vị trícác điểm đặc trưng Gần đây, một số tác giả đã kết hợp thêm một số đặc tính kháccủa ảnh vân tay để nâng cao hiệu quả đối sánh như: Orientation field [9] hoặcDensity map [10] Chi tiết xem ở tài liệu tham khảo, ở đây tôi xin giới thiệuphương pháp đối sánh vị trí các điểm đặc trưng mà tôi đã sử dụng, phương pháp

này gần giống với các phương pháp được nêu ở [4] và [11] Hàm matching.m (phụ

lục) thực hiện đối sánh hai ảnh vân tay theo phương pháp này

Giả sử I và I’ lần lượt là các ảnh vân tay mẫu và ảnh vân tay cần đối sánh,

m = {x, y, } là các điểm đặc trưng được xác định bởi tọa độ (x,y) và hướng

trong đó: m, n lần lượt là số điểm đặc trưng của I và I’

Khi đó, điểm m'∈ I' được coi là “giống” với điểm m ∈ I nếu độ sai lệch

về không gian và độ sai lệch về hướng nhỏ hơn các giá trị ngưỡng r0 và 0 :

Nếu

Thì I’ được coi là giống I Trong đó T là phần trăm số điểm sai lệch cho phép

CHƯƠNG 3 MẠNG NEURAL NHÂN TẠO

3.1 TỔNG QUAN VỀ NEURAL – MẠNG NEURAL

1 Bộ não và neuron sinh học

Tế bào thần kinh còn gọi là “neuron” Nghiên cứu sinh học về bộ não conngười cho thấy rằng các neuron là đơn vị cơ sở đảm nhiệm những chức năgn xử

lý nhất định trong hệ thần kinh, bao gồm: não, tủy sống và các dây thần kinh Mỗi neuron có phần thân và nhân bên trong (gọi là soma), một đầu thần kinh ra(gọi là dendrite) Các dây thần kinhvào tạo thành một lưới dày đặc xungquanhthân tế bào, chiếm diện tích khoảng 0,25mm2, còn dây thần kinh tạo rathànhtrụcdài có thể từ 1 cm đến hàng mét Đường kính nhân tế bào thường chỉ là 10-4m.trục dây thần kinh ra cũng có thể phân nhánh theo dạng cây để nối với dâythầnkinh vào hoặc trực tiếp với nhân tế bào các neuron khác thông qua các khớpnối (gọi là synapse) Thông thường, mỗi neuron có thể gồm vài chục cho tới hàngtrăm khớp nối để nối với các neuron khác Người ta ước lượng rằng lưới các dâythần kinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt neuron

Hình 16: Cấu tạo mạng neural sinh học

Các tín hiệu truyền trong dây thần kinh vào và dây thần kinh ra của cácneural là tính hiệu điện, được thực hiện thông qua các quá trình phản ứng và giảiphóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tới các dâythần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào Khi điện thế này đạtđến một mức ngưỡng nào đó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra

các neuron khác và sẽ giải phóng các chất truyền điện Thường chia khớp nốithành 2 loại: khớp nối kích thích (excitatory) và khớp nối ức chế(inhibitory).

Phát hiện quan trọng nhất về bộ não sinh học là các liên kết khớp thần kinhkhá mềm dẻo, có thể biến động và sửa đổi theo thời gian tùy thuộc vào các dạngkích thích Hơn nữa, các neuron có thể sản sinh các liên kết mới với các neuronkhác; đôi khi, lưới các neuron có thể di trú từ vùng này sang vùng khác trong bộnão Đây là cơ sở quan trọng để giải thích cho cơ chế học của bộ não con người

Các chức năng cơ bản của bộ não bao gồm:

- Bộ nhớ được tổ chức theo các bó thông tin và truy cập theo nội dung

- Bộ não có thể tổng quát hóa, có thể truy xuất các tri thức hay các mối liên

kết chung của các đối tượng tương ứng với một khái niệm chung nào đó

- Bộ não có khả năng điều chỉnh hoặc tiếp tục thực hiện ngay khi có những

sai do thông tin bị thiếu hay thiếu chính xác Ngoài ra, bộ não còn có thể phát hiện

và phục hồi các thông tin bị mất dựa trên sự tương tự giữa các đối tượng

- Bộ não có khả năng xuống cấp và thay thế dần Khi có những trục trặc tại

các vùng não (do chấn thương) hoặc bắt gặp những thông tin hoàn toàn mới lạ, bộnão vẫn có thể được tiếp tục làm việc

2 Mô hình neuron nhân tạo và mạng neuron nhân tạo

Mạng neuron nhân tạo (Artificial neural network – ANN) là mạng bao gồmcác nút (neuron, đơn vị xử lý) được nối với nhau bởi các liên kết neuron Mỗi liênkết kèm theo một trọng số nào đó, đặc trưng cho đặc tính kích hoạt hoặc ức chếgiữa các neuron Có thể xem các trọng số là phương tiện để lưu thông tin dài hạntrong mạng neuron, còn nhiệm vụ của quá trình huấn luyện (học) là cập nhật cáctrọng số khi có thêm thông tin về các mẫu học, hay nói cách khác, các trọng số

môi trường đang xem xét.

a Mô hình nhân tạo

Hình 17: Mô hình neural nhân tạo

Mỗi nueron được nối với các neuron khác và nhận được các tín hiệu từ chúngvới các trọng số wj

- Tổng thông tin vào có trọng số là:

- Net = ∑ wjsj, đây là thành phần tuyến tính của neuron

- Hàm kích hoạt g đóng vai trò biến đổi từ Nét sang tín hiệuđầu ra out

- Out = g(Net), đây là thành phần phi tuyến của mạng neuron

- Một số dạng hàm kích hoạt thường dùng trong thực tế:

Trong đó :

b Mạng Neuron nhn tạo

Mạng neuron nhân tạo, sau đây gọi tắt là mạng neuron,được xây dựng trên cơ

sở mạng neuron sinh học, là hệ thống bao gồm nhiều phần tử xử lý đơn giản(neuron), hoạt động song song Tính năng của hệ thống này tùy thuộc vào cấu trúccủa hệ, các trọng số liên kết và cấu trúc của chúngcho phù hợp với mẫu học trongmạng neuron, các neuron đón nhận tín hiệu vào gọi là neuron vào, cịn cc neuronđưa thông tin ra gọi là nueron ra Các thông số cấu trúc mạng neuron bao gồm:

- Số tín hiệu vo, số tín hiệu ra

- Số lớp neuron

- Số neuron trn mỗi lớp ẩn

- Số lượng liên kết của mỗi neuron (đầy đủ, bộ phận, ngẫu nhiên)

- Cc trọng số lin kết b.1 Phn loại mạng Neuron

- Theo kiểu lin kết neuron, ta cĩ mạng neuron truyền thẳng (feed-forwardneural network) v mạng neuron hồi qui (recurrent neural network) Trong mạngneuron truyền thẳng, các liên kết neuron đi theo một hướng nhất định , không cóchu trình Ngược lại, mạng neuron hồi qui cho phép các liên kết neuron tạo thànhchu trình Vì cc thơng tin ra của cc neuron được truyền lại cho chính các neuronnên đ gĩp phần kích hoạt cho chng v tạo ra khả năng lưu giữ trạng thái trong của

nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết neuron

- Theo số lớp, ta cĩ mạng neuron một lớp (single-layer) v mạng neuron đalớp (multi-layer) Trong đó, thông thường lớp neuron vào chỉ chịu trách nhiệmtruyền đưa tín hiệu vào, không thực hiện một tính toán nào, nên khi tính số lớp củamạng ta không tính lớp này vào

b.2 Cch nhìn về mạng neuron

+ Cĩ thể xem mạng neuron như một công cụ toán học, một bảng tra Giả sửmạng neuron NN có m neuron vào và n neuron ra, khi đó với mỗi vector tín hiệuvào X= (x1, x2, , xm) sau quá trình tính tốn tại cc neuron ẩn sẽ nhận được kếtquả ra Y= (y1, y2, , yn) và ta qui ước viết Y = out (X,NN)

+ Mạng neuron như một hệ thống thích nghi, có khả năng học (huấn luyện)

để tinh chỉnh các trọng số liên kết cũng như cấu trúc của chúng sao cho phù hợpvới các mẫu học (samples) Thường phân biệt 3 kỹ thuật học:

+ Học cĩ gim st (supervised learning), cịn gọi l học cĩ thầy: Mạng được cungcấp một tập mẫu học {(x,d)} theo nghĩa x là các tín hiệu vào thì kết quả đúng của

hệ phải là d Ở mỗi lần học, vector tín hiệu vào x được đưa vào mạng, sau đó sosánh sự sai khác giữa các kết quả ra đúng d với kết quả tính toán Y Sai số nàyđược dùng để hiệu chỉnh lại các trọng số liên kết trong mạng quá trình cứ tiếp tụccho đến khi thỏa mn một tiu chuẩn no đó Có 2 cách sử dụng tập mẫu học: hoặcdùng các mẫu lần lượt – hết mẫu này đến mẫu khác, hoặc sử dụng đồng thời tất cảcác mẫu cùng một lúc

Hình 18: Mô hình học có giám sát

+ Học khơng cĩ gim st (unsupervised learning), cịn gọi l học khơng

thầy: Trong kỹ thuật học này, sẽ không có sự hồi tiếp từ môi trường để cho biếttínhiệu ra yêu cầu của mạng nên như thế nào, hoặc chúng có đúng chưa – giốngnhư học có giám sát, mà nói chung mạng neuron phải tự nó phát hiện ra bất cứmối liên hệ có liên quan có thể tồn tại trong giữ liệu vào (chẳng hạn như: cácmẫu, các đặc trưng, các quy tắc, sự tương quan) và chuyển mối liên hệ đ pht hiện

ny sang đầu ra Mạng học với cơ chế này gọi là mạng tự tổ chức Thí dụ, mạngneuron học không thầy có thể cho chúng ta biết một mẫu đầu vào mới đồng dạngnhư thế nào với mẫu đặc trưng đ thấy trong qu khứ (sự đồng dạng); hoặc một dạngneuronkhác có thể xây dựng một tập những cái rìu trn cơ sở sự tương tự của những

Hình 19: Mô hình học không có giám sát

+ Học tăng cường (Reinforced learning): Như đ giới thiệu ở trn, kỹ thuật học

cĩ gim st l hiệu chỉnh dần gi trị tín hiệu đầu ra tương ứng với từng cặp mẫu tínhiệu vào-ra Tuy nhiên thực tế nhiều khi không thể có được các thông tin chitiếtnày Do đó thường phải sử dụng thuật toán “học tăng cường” trong học tăngcường, dữ liệu huấn luyện rất thô và chúng chỉ “ ước lượng” để so sánh với “sựtruyền kiến thức” hồi tiếp trong học có giám sát

Hình 20: Mô hình huấn luyện tăng cường

+ Các kỹ thuật học trong mạng neuron có thể nhằm vào việc hiệu chỉnh các trọng

số liên kết – gọi là học tham số; hoặc nhằm vào việc điều chỉnh, sửa đổi cấu trúccủa mạng, bao gồm số lớp, số neuron, kiểu v trọng số cc lin kết – gọi l học cấu trc

3.2 MỘT SỐ MƠ HÌNH MẠNG NEURON

1 Mạng truyền thẳng (Feedforward neural Networks)

a Mạng Perceptron đơn lớp

Hình 21: Mạng perceptron đơn lớp

-Tập mẫu tín hiệu vo: x(k)=[x1(k),x2(k),…,xm(k)]T;k=1 p, với p l số tập mẫu

huấn luyện; m l số tín hiệu vo trong một tập mẫu

-Tập mẫu tín hiệu ra tương ứng với tập mẫu tín hiệu vào: d(k)=[d1(k),d2(k),

…,dn(k)]T

- Tập tín hiệu ra thực tế ứng với tín hiệu mẫu x(k): y(k)=[y1(k),y2(k),…,yn(k)]T

- Vector trọng số: wi=[wi1,wi2, …, wim] i =1 n với n l số tín hiệu rạ

- Hm kích hoạt neuron: ặ)

- Mục tiu của qu trình huấn luyện mạng l:

ạ1 Qui luật học Perceptron

Tín hiệu ramẫu có dạng tuyến tính ngưỡng, chỉ nhận gi trị ± 1 từ (2.4) ta cĩ:

Yi(k) = sgn(wiTx(k)) = di(k) (3.5)

ạ2 Adaline (Adaptive linear Element)

Tính hiệu ramẫu cĩ dạng tuyến tính dốc, từ (3.4) ta cĩ:

b Mạng truyền thẳng đa lớp (Multilayer feedforward networks)

b.1 Lan truuyền ngược (Back propagation)

Thuật toán huấn luyện lan truyền ngược có một ý nghĩa quan trọng trong lịch

sử phát triển mạng neuron Các mạng neuron được huấn luyện được huấn luyện

mạng lan truyền ngược Cơ sở của việc cập nhật các trọng số này là cơ chế suygiảm gradient Với một cặp tính hiệu mẫu vào-ra (x(k), d(k), thuật toán lan truyềnngược thực hiện 2 giai đoạn Đầu tiên, mẫu x(k)được lan truyền từ lớp vào đến lớp

ra và cho ra tín hiệu thật ở lớp ra là y(k) Sai số giữa tín hiệu thật ở lớp ra y(k) vàtín hiệu ra mẫu d(k)được lan truyền ngược trở lại từ lớp ra đến những lớp trước đó

để cập nhật lại trọng số cho chúng Xét cụ thể một mạng neuron 3 lớp lan truyềnngược (hình 3.7) để minh họa thuật toán lan truyền ngược và kết quả này hoàntoàn có thể mở rộng cho những mạng có số lớp nhiều hơn

Hình 22: Mạng neural 3 lớp lan truyền ngược

Mạng neuron 3 lớp lan truyền ngược hình 3.7 cĩ m neuron ở lớp vo, lneuron ở lớp ẩn v n neuron ở lớp ra Đầu tiên, xét cặp mẫu huấn luyện (x,d) vớitín hiệu mẫu đầu vào x ở lớp vào, neuron q ở lớp ẩn sẽ nhận được tín hiệu:

Tín hiệu vo của neuron I ở lớp ra:

Tín hiệu ra của neuron I ở lớp ra: