Phương pháp nhận dạng vân tay doc

Xác định các điểm singularity bằng chỉ số Poincare Poincare index [3] Giả sử i,j là một điểm bất kỳ trên ảnh vân tay, C là một đường cong khép kính xungquanh i,j thì chỉ số Poincare tại

- -LUẬN VĂN TỐT NGHIỆP

Phương pháp nhận dạng vân tay

CHƯƠNG 1:

Đa số các hệ thống bảo mật hiện nay được bảo vệ bằng password và PIN (PersonalIdentification Number), nhưng các phương pháp này đã được chứng minh là không hiệuquả Bởi vì, password là những con số khó nhớ, dễ quên và dễ bị đánh cắp Bằng cách sửdụng vân tay và mật mã, việc xác nhận một người có thể được thực hiện bằng một hệthống nhận dạng vân tay an toàn và thuận tiên.

Hình 1.1 là cấu trúc cơ bản của hệ thống nhận dạng dấu vân tay Đầu tiên, dấu vântay của một người cần được lấy mẫu (bằng một thiết bị có thể chụp được vân tay –Biometric sensor) và lưu vào cơ sở dữ liệu (Registration module) Sau đó, khi cần xácnhận người đó cung cấp lại một dấu vân tay khác, dấu vân tay này sẽ được so sánh vớidấu vân tay trong cơ sở dữ liệu để quyết định chấp nhận hay từ chối dựa trên một giá trịngưỡng đối sánh

Hình 1.1: Cấu trúc cơ bản của hệ thống nhận dạng dấu vân tay

Hiện nay, trên thị trường thế giới đã có bán nhiều loại thiết bị chụp vân tay(fingerprint reader, fingerprint scanner) với các chất lượng khác nhau Bảng 1.1 giới thiệumột số loại thiết bị chụp vân tay và các thông số kỹ thuật của chúng Hình 1.2 là ảnh vântay được chụp từ các thiết bị này Chi tiết hơn có thể tham khảo ở [15], [16]

Bảng 1.1: Một số loại thiết bị chụp vân tay và các thông số kỹ thuật của chúng

chối nhầm (False Reject Rate: FRR) và lỗi chấp nhận nhầm (False Accept Rate: FAR)

Giá trị của hai loại lỗi này có mối quan hệ với nhau thông qua giá trị ngưỡng đốisánh T (threshold) là sai lệch cho phép giữa mẫu cần đối sánh với mẫu được lưu trong cơ

sở dữ liệu Khi chọn giá trị ngưỡng thấp thì lỗi từ chối nhầm sẽ tăng, lỗi chấp nhận nhầm

sẽ giảm và ngược lại

Hệ thống thường được đánh giá theo hai cách:

1 Tỷ lệ lỗi cực tiểu SUMmin = (FAR + FRR)min : theo quan điểm dù là loại lỗi gì thìcũng là lỗi, do đó tỷ lệ lỗi cực tiểu SUMmin là hệ số lỗi nhỏ nhất mà hệ thống cóthể đạt được

2 Mức độ lỗi cân bằng (Equal Error Rate: EER): đó là điểm mà FAR và FRR bằngnhau

Hình 1.3 biểu diễn mối quan hệ giữa FAR, FRR, SUM và EER theo ngưỡng T

Hình 1.3: Mối quan hệ giữa FAR, FRR, SUM và EER theo ngưỡng T

1.2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU

Các phương pháp nhận dạng vân tay kinh điển đều dựa vào việc đối sánh(matching) các điểm đặc trưng (feature) trên vân tay Có nhiều phương pháp đối sánhkhác nhau Trong bài này, chúng tôi nghiên cứu phương pháp đối sánh bằng mạng neuralnhân tạo (Artificial Neural Network)

1.3 Ý NGHĨA ĐỀ TÀI

Đề tài giới thiệu một hướng nghiên cứu và ứng dụng lĩnh vực nhận dạng vân tayvào thực tiễn Một lĩnh vực đã khá phổ biến trên thế giới nhưng còn hạn chế ở ViệtNam

CHƯƠNG 2:

PHƯƠNG PHÁP NHẬN DẠNG VÂN TAY

2.1 CÁC ĐIỂM ĐẶC TRƯNG TRÊN ẢNH VÂN TAY

Trên các ảnh vân tay có các điểm đặc trưng (là những điểm đặc biệt mà vị trí của

nó không trùng lặp trên các vân tay khác nhau) được phân thành hai loại: singularity

và minutiae

Singularity: Trên vân tay có những vùng có cấu trúc khác thường so với những

vùng bình thường khác (thường có cấu trúc song song), những vùng như vậy goi làsingularity Có hai loại singularity là core và delta

core

delta

Hình 2.1: Các điểm singularity core và delta

Hình 2.2: Một số loại core thường gặp.

Minutiae: Khi dò theo từng đường vân ta sẽ thấy có những điểm đường vân kết

thúc (Ridge Ending) hoặc rẽ nhánh (Bifurcation), những điểm này được gọi chung là minutiaae

Hình 2.3: Các điểm minutiae Ridge Ending (điểm kết thúc) và Bifurcation

a Trường định hướng (orientation field)

Ảnh vân tay là ảnh định hướng, các đường vân là các đường cong theo các hướngxác định Góc hợp bởi phương của một điểm trên đường vân với phương ngang đượcgọi là hướng của điểm đó Tập hợp các hướng của các điểm trên ảnh vân tay gọi làtrường định hướng của ảnh vân tay đó

Hình 2.4: ảnh vân tay (a) và trường định hướng của nó (b)

Phương pháp xác định trường định hướng như sau [5], [14]:

− Chia ảnh vân tay thành các khối nhỏ hơn kích thước WxW

− Tính gradient theo hai hướng x, y là Gx, Gy tại mỗi điểm (pixel) trong khối − Khi

đó hướng của điểm chính giữa của khối được xác định theo công thức:

Hàm orientation.m thực hiện tính trường định hướng được giới thiệu trong phần phụlục

b Xác định các điểm singularity bằng chỉ số Poincare (Poincare index) [3]

Giả sử (i,j) là một điểm bất kỳ trên ảnh vân tay, C là một đường cong khép kính xungquanh (i,j) thì chỉ số Poincare tại (i,j) là tổng đại số các độ sai lệch hướng của cácđiểm liền kề nhau trên đường cong C

Trong đó: N p là tổng số điểm trên đường cong “số” C (x,y) là hướng tại

Hình 2.5 minh họa cách tính chỉ số poincare tại điểm (i,j) với số điểm trên đường cong “số” Np = 8

Hình 2.5: Cách tính chỉ số poincare tại điểm (i,j) với N p = 8

Hàm poincare.m thực hiên việc tính chỉ số Poincare theo thuật toán trên vàhàm singularity.m xác định các điểm singularity dựa vào chỉ số Poincare

2.2.2 Trích các điểm minutiae

Có hai phương pháp chính để tìm các điểm minutiae: trích các điểm minutiae

từ ảnh binary và trích các điểm minutiae trực tiếp từ ảnh xám

a Trích các điểm minutiae từ ảnh binary [5]

Hình 2.6: Sơ đồ mô tả thuật toán trích các điểm minutiae từ ảnh binary

Ý tưởng chính của phương pháp này là từ ảnh xám ban đầu ta sử dụng các bộlọc thích hợp để phát hiện và làm mảnh đường vân dưới dạng một pixel (ridgedetection), biến đổi ảnh xám ban đầu thành ảnh binary (có giá trị là 0 hoặc 1) tươngứng Sau đó, các điểm minutiae sẽ được trích như sau: giả sử (x,y) là một điểm trênđường vân đã được làm mãnh và N0, N1, …, N7 là 8 điểm xung quanh nó thì

• (x,y) là một điểm rẽ nhánh nếu ∑ Ni > 2

i=0

Hình 2.7 các kết quả của thuật toán

• Dò theo đường vân (Ridge line following)

Giả sử I là một ảnh xám có kích thước là mxn và nếu coi chiều thứ ba z là mứcxám tại điểm (i,j) thì bề mặt của ảnh vân tay I có dạng như sau:

Hình 2.8: Bề mặt của ảnh vân tay với các đường vân (ridge) và các rãnh (ravine)

Theo quan điểm toán học thì đường vân là tập hợp các điểm cực đại dọc theo mộthướng xác định Việc xác định các điểm minutiae trực tiếp từ ảnh xám dựa vào thuậttoán dò theo đường vân Thuật toán này dựa vào việc xác định các điểm cực đại dọctheo hướng của đường vân

Xác định điểm cực đại

Giả sử Ω((i t , j t ),φ?,σ) là thiết diện của đường vân có điểm chính giữa là

(i t , j t ) , hướng của thiết diện

φ? =

(i t , j t ) ) và bề rộng của thiết diện m = 2σ+1 pixel (hình 2.9) Khi đó,Ωđượcxác định như sau:

Hình 2.9: Thiết diện của đường vân tại

¾ Tóm lại việc tìm các điểm minutiae bằng thuật toán dò theo đường vân được thực hiện như sau (chi tiết xem ở tài liệu tham khảo[1]):

− Lấy một điểm bất kì (is,js) trên ảnh I − Tìm hướng s tại

điểm (is,js)

− Tìm điểm cực đại (ic,jc) gần (is,js) nhất

Hình 2.10: Điểm cực đại (ic,jc) tương ứng với (is,js)

− Tìm hướng c tại điểm (ic,jc)

− Dịch chuyển theo hướng c một đoạn μ

− Tinh chỉnh lại điểm cực đại (ic,jc) và hướng c

− Tiếp tục quá trình này để dò theo đường vân (ridge following) cho đến khi không phát hiện được điểm cực đại (ic,jc) thì đó là điểm Ridge Ending hoặc chạm vào một đường vân khác thì đó là điểm

Bifurcation (mỗi đường vân sau khi được dò sẽ được gán nhãn)

− Tiếp theo chọn một điểm (is,js) khác và thực hiện lại quá trình trên cho đến khi dò hết tất cảcác đường vân

Hình 2.11: Dịch chuyển theo đường vân từng đoạn μ

Tất cả các thuật toán trên được thực hiện bằng hàm minutiae.m (phụ lục)

Các ảnh vân tay thường được lấy bằng hai phương pháp: từ mực hoặc từ các sensor Các ảnh vân tay được lấy từ mực thường có chất lượng thấp và không đồng đều Phần này sẽ giới thiệu phương pháp dùng

bộ lọc Gabor để cải thiện chất lượng của ảnh vân tay [8], [13], [14].

Hàm Gabor là một công cụ hữu dụng cho việc xử lý ảnh Nó có đặc tính chọn lọc trong miền không gian lẫn tần số Hàm Gabor 2_D thực có dạng như sau:

T là chu kỳ của hàm cos (thường được chọn từ thực nghiệm có giá trị [0,1]) σx , σy là các

độ lệch chuẩn (thường được chọn từ thực nghiệm có giá trị [0,4])

Các bước thực hiện:

1 Chuẩn hóa mức xám: nếu I(x,y) là mức xám tại điểm (x,y) của ảnh I thì mức xám chuẩn hóa Ni(x,y) được xác định rheo công thức sau:

trong đó:

M0, V0 là mean và variance mong muốn (thường được chọn là 100) Mi, Vi là

mean và variance của ảnh I

Chú ý: nếu mức xám của các vùng khác nhau trên ảnh I không đồng đều thì có thể chia I thành các khối nhỏ

và chuẩn hoá theo từng khối.

Hình 2.12: ảnh I và ảnh chuẩn hóa của nó

(Hàm normalize.m thực hiện chuẩn hóa mức xám được giới thiệu ở phụ lục)

2 Xác định trường định hướng theo phương pháp đã giới thiệu ở trên

3 Sử dụng hàm lọc Gabor cho ảnh đã chuẩn hóa trong miền tần số − Chia ảnh cần lọc thành từng khối nhỏ kích thước WxW

− Xác định hướng của khối (dựa vào trường định hướng) − Hướng φ của bộ lọc

là hướng của khối

− Sử dụng phép biến đổi FFT và phép biến đổi IFFT cho từng khối ảnh và hàm Gabor

Hình 2.13: Kết quả lọc bằng hàm gabor_filter.m (phụ lục) với T = 0.6, σx

= 1, σy = 2

2.4 ĐỐI SÁNH (MATCHING)

Hầu hết các phương pháp nhận dạng vân tay đều dựa vào việc đối sánh vị trí các điểm đặc trưng Gần đây, một số tác giả đã kết hợp thêm một số đặc tính khác của ảnh vân tay để nâng cao hiệu quả đối sánh như: Orientation field [9] hoặc Density map [10] Chi tiết xem ở tài liệu tham khảo, ở đây tôi xin giới thiệu phương pháp đối sánh vị trí các điểm đặc trưng mà tôi đã sử dụng, phương pháp này gần giống với các phương pháp được nêu ở [4] và [11] Hàm

matching.m (phụ lục) thực hiện đối sánh hai ảnh vân tay theo phương pháp này.

Giả sử I và I’ lần lượt là các ảnh vân tay mẫu và ảnh vân tay cần đối sánh, m  x, y,θlà các điểm đặc trưng được xác định bởi tọa độ (x,y) và hướng θ.

trong đó: m, n lần lượt là số điểm đặc trưng của I và I’

Khi đó, điểm m' I ' được coi là “giống” với điểm m I nếu độ sai lệch về

không gian và độ sai lệch về hướng nhỏ hơn các giá trị ngưỡng r0 và θ0 :

thì I’ được coi là giống I Trong đó T là phần trăm số điểm sai lệch cho phép.

MẠNG NEURAL

CHƯƠNG 3:

MẠNG NEURAL NHÂN TẠO

3.1 TỔNG QUAN VỀ NEURAL – MẠNG NEURAL

1 Bộ não và neuron sinh học

Tế bào thần kinh còn gọi là “neuron” Nghiên cứu sinh học về bộ não con người cho thấy rằng các neuron là đơn vị cơ sở đảm nhiệm những chức năgn xử lý nhất định trong hệ thần kinh, bao gồm: não, tủy sống và các dây thần kinh Mỗi neuron có phần thân và nhân bên trong (gọi là soma), một đầu thần kinh ra (gọi là dendrite) Các dây thần kinhvào tạo thành một lưới dày đặc xung quanh thân tế bào, chiếm diện tích khoảng 0,25mm2, còn dây thần kinh tạo rathành trục dài có thể từ 1 cm đến hàng mét Đường kính nhân tế bào thường chỉ là 10-4 m trục dây thần kinh ra cũng có thể phân nhánh theo dạng cây để nối với dây thần kinh vào hoặc trực tiếp với nhân tế bào các neuron khác thông qua các khớp nối (gọi là synapse) Thông thường, mỗi neuron có thể gồm vài chục cho tới hàng trăm khớp nối để nối với các neuron khác Người ta ước lượng rằng lưới các dây thần kinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt neuron.

Hình 3.1 Cấu tạo mạng neural sinh học

Các tín hiệu truyền trong dây thần kinh vào và dây thần kinh ra của các neural là tính hiệu điện, được thực hiện thông qua các quá trình phản ứng và giải phóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tới các

dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào Khi điện thế này đạt đến một mức ngưỡng nào đó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra Xung này được truyền theo trục, tới các nhánh rẽ khi chạm tới các khớp nối với các neuron khác và sẽ giải phóng các chất truyền điện Thường chia khớp nối thành 2 loại: khớp nối kích thích (excitatory)

và khớp nối ức chế (inhibitory).

Phát hiện quan trọng nhất về bộ não sinh học là các liên kết khớp thần kinh khá mềm dẻo, có thể biến động và sửa đổi theo thời gian tùy thuộc vào các dạng kích thích Hơn nữa, các neuron có thể sản sinh các liên kết mới với các neuron khác; đôi khi, lưới các neuron có thể di trú từ vùng này sang vùng khác trong bộ não Đây là cơ sở quan trọng để giải thích cho cơ chế học của bộ não con người.

Các chức năng cơ bản của bộ não bao gồm:

- Bộ nhớ được tổ chức theo các bó thông tin và truy cập theo nội dung

- Bộ não có thể tổng quát hóa, có thể truy xuất các tri thức hay các mối liên kết chung của các đối tượng tương ứng với một khái niệm chung nào đó

- Bộ não có khả năng điều chỉnh hoặc tiếp tục thực hiện ngay khi có những sai dothông tin bị thiếu hay thiếu chính xác Ngoài ra, bộ não còn có thể phát hiện vàphục hồi các thông tin bị mất dựa trên sự tương tự giữa các đối tượng

- Bộ não có khả năng xuống cấp và thay thế dần Khi có những trục trặc tại các vùng não (do chấn thương) hoặc bắt gặp những thông tin hoàn toàn mới lạ, bộ não vẫn có thể được tiếp tục làm việc

- Bộ não có khả năng học

Nhìn chung, tính toán sơ bộ cho thấy rằng dù bộ vi xử lý máy tính điện tử có thể tính toán nhanh hơn hàng triệu lần so với neuron của bộ não, nhưng xét tổng thể thì bộ não lại tính toán nhanh hơn hàng tỷ lần Ngoài ra, cũng dễ thấy rằng bộ não con người có thể lưu trữ nhiều thông tin hơn các máy tính hiện đại, dù rằng điều này không phải đúng mãi mãi bởi lẽ bộ não tiến hóa chậm còn bộ nhớ máy tính thì được nâng cấp rất nhanh nhờ những tiến bộ của khoa học kỹ thuật.

2 Mô hình neuron nhân tạo và mạng neuron nhân tạo

mạng neuron nhân tạo (Artificial neural network – ANN) là mạng bao gồm các nút (neuron, đơn vị xử lý) được nối với nhau bởi các liên kết neuron Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho đặc tính kích hoạt hoặc ức chế giữa các neuron Có thể xem các trọng số là phương tiện để lưu thông tin dài hạn trong mạng neuron, còn nhiệm vụ của quá trình huấn luyện (học) là cập nhật các trọng số khi có thêm thông tin về các mẫu học, hay nói cách khác, các

trọng số được điều chỉnh sao cho dáng điệu vào ra của nó mô phỏng hoàn toàn phù hợp môi trường đang xem xét.

a Mô hình nhân tạo

Hình 3.2 Mô hình neural nhân tạo

Mỗi nueron được nối với các neuron khác và nhận được các tín hiệu từ

chúng với các trọng số wj

- Tổng thông tin vào có trọng số là:

- Net = ∑?w j s j , đây là thành phần tuyến tính của neuron

- Hàm kích hoạt g đóng vai trò biến đổi từ Nét sang tín hiệu đầu ra out

- Out = g(Net), đây là thành phần phi tuyến của mạng neuron

- Một số dạng hàm kích hoạt thường dùng trong thực tế:

+ Hàm bước: step(x)= 1,x≥0

(3.1)

0, x 0

1, x ≥ 0

(3.2)

+ Hàm dấu : sign(x)=

−1, x 0

b Mạng neuron nhân tạo

Mạng neuron nhân tạo, sau đây gọi tắt là mạng neuron,được xây dự ng trên cơ sở mạngneuron sinh học, là hệ thống bao gồm nhiề u phần tử xử lý đơn giản (neuron), hoạt động songsong Tính năng của hệ thống này tùy thu ộc vào cấ u trúc của hệ, các trọng số liên kết và cấutrúc của chúngcho phù hợp với mẫu học trong mạng neuron, các neuron đón nhận tín hiệu vào g

ọi là neuron vào, còn các neuron đưa thông tin ra gọi là nueron ra Các thông số cấu trúc mạngneuron bao gồm:

- Số tín hiệu vào, số tín hiệu ra

- Số lớp neuron

- Số neuron trên mỗi lớp ẩn

- Số lượng liên kết của mỗi neuron (đầy đủ, bộ phận, ngẫu nhiên)

- Các trọng số liên kết

b.1 Phân loại mạng neuron

- Theo kiểu liên kết neuron, ta có mạng neuron truyền thẳng (feed-forward neural network)

và mạng neuron hồi qui (recurrent neural network) Trong mạng neuron truyền thẳng, các liênkết neuron đi theo một hướng nhấ t định , không có chu trình Ngược lại, mạng neuron hồi quicho phép các liên kết neuron tạ o thành chu trình Vì các thông tin ra của các neuron được truyềnlại cho chính các neuron nên đã góp phần kích hoạ t cho chúng và tạo ra khả năng lư u giữ trạngthái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết neuron

- Theo số lớp, ta có mạng neuron một lớp (single -layer) và mạng neuron đa lớp layer) Trong đó, thông thườ ng l ớp neuron vào chỉ chịu trách nhiệm truyền đưa tín hiệu vào,không thực hiện một tính toán nào, nên khi tính số lớp của mạng ta không tính lớp này vào

(multi-b.2 Cách nhìn về mạng neuron

+ Có thể xem mạng neuron như một công cụ toán học, một bảng tra Giả sử mạng neuron

NN có m neuron vào và n neuron ra, khi đó với mỗi vector tín hiệu vào X= (x1 , x2 , , xm) sauquá trình tính toán tại các neuron ẩn sẽ nhận được kết quả

ra Y= ( y1 , y2 , , yn) và ta qui ước viết Y = out (X,NN).

+ Mạng neuron như một hệ thống thích nghi, có khả năng học (huấn luyện) để tinh chỉnhcác trọng số liên kết cũng như cấu trúc của chúng sao cho phù hợp với các mẫu học (samples).Thường phân biệt 3 kỹ thuật học:

+ Học có giám sát (supervised learning), còn gọi là học có thầy: Mạng được cung cấpmột tập mẫu học {(x,d)} theo nghĩa x là các tín hiệu vào thì kết quả đúng của hệ phải là d Ở mỗilần học, vector tín hiệu vào x được đưa vào mạng, sau đó so sánh sự sai khác giữa các kết quả rađúng d với kết quả tính toán Y Sai số này được dùng để hiệu chỉnh lại các trọng số liên kết trongmạng quá trình cứ tiếp tục cho đến khi thỏa mãn một tiêu chuẩn nào đó Có 2 cách sử dụng tậpmẫu học: hoặc dùng các mẫu lần lượt – hết mẫu này đến mẫu khác, hoặc sử dụng đồng thời tất cảcác mẫu cùng một lúc

Hình 3.3 Mô hình học có giám sát

+ Học khơng cĩ giám sát (unsupervised learning), cịn gọi là học khơng thầy: Trong kỹthuậ t học này, sẽ khơng cĩ sự hồi tiếp từ mơi trường để cho biế t tín hiệu ra yêu cầu của mạngnên như thế nào, hoặc chúng cĩ đúng chưa – giống như học cĩ giám sát, mà nĩi chung mạngneuron phả i tự nĩ phát hiện ra bất cứ mối liên hệ cĩ liên quan cĩ thể tồn tại trong giữ liệu vào(chẳng hạn như: các mẫu, các đặc trư ng, các quy tắc, sự tương quan) và chuyển mối liên hệ đãphát hiện này sang đầu ra Mạng học với cơ chế này gọi là mạ ng tự tổ chức Thí dụ, mạngneuron học khơng th ầy cĩ thể cho chúng ta biết một mẫu đầu vào mới đồng dạng như thế nàovới mẫu đặ c trưng đã thấ y trong quá khứ (sự đồng dạng); hoặc một dạng neuron khác cĩ thểxây dựng một tập những cái rìu trên cơ sở sự tương tự của những thí dụ trước đĩ (phân tích thànhphần chủ yếu)v.v…

Hình 3.4 Mô hình học không có giám sát

+ Học tăng cườ ng (Reinforced learning): Như đã giới thiệ u ở trên, kỹ thuật học cĩ giámsát là hiệu chỉ nh dần giá trị tín hiệu đầu ra tương ứ ng với từng cặp mẫu tín hiệu vào-ra Tuynhiên thực t ế nhiề u khi khơng thể cĩ được các thơng tin chi tiết này Do đĩ thường phải sử dụngthuật tốn “học tăng cường” trong học tăng cường , dữ liệu huấn luyện rất thơ và chúng chỉ “ước lượng” để so sánh với “sự truyền kiến thức” hồi tiếp trong học cĩ giám sát

Hình 3.5 Mô hình huấn luyện tăng cường

+ Các kỹ thuật học trong mạng neuron cĩ thể nhằm vào việc hiệu chỉnh các trọng số liênkết – gọi là học tham số; hoặ c nhằm vào việc điề u chỉnh, sửa đổi cấu trúc của mạng, bao gồm

số lớp, số neuron, kiểu và trọng số các liên kết – gọi là học cấu trúc

3.2 MỘT SỐ MƠ HÌNH MẠNG NEURAL

1 Mạng truyền thẳng (Feedforward neural Networks) a Mạng

Perceptron đơn lớp

Hình 3.6 Mạng perceptron đơn lớp

- Tập mẫu tín hiệu vào: x(k)=[x1(k),x2 (k),…,xm(k)]T;k=1 p, với p là số tập mẫuhuấn luyện; m là số tín hiệu vào trong một tập mẫu

- Tập mẫu tín hiệu ra tương ứng với tập mẫu tín hiệu vào:

d (k) =[d1 ,d2 (k) ,…,d n (k) ] T

- Tập tín hiệu ra thực tế ứng với tín hiệu mẫu x(k): y(k)=[y1(k),y2 (k) ,…,y n(k) ] T

- Vector trọng số: wi =[wi1,wi2, …, wim] i =1 n với n là số tín hiệu ra

- Hàm kích hoạt neuron: ặ)

- Mục tiêu của quá trình huấn luyện mạng là:

(k) T (k) m (k ) (k)

Y i =ăw i x ) = a ∑w ij x

j 1

ạ1 Qui luật học Perceptron

Tín hiệu ramẫu có dạng tuyến tính ngưỡng, chỉ nhận giá trị  1 từ (2.4) ta có:

Yi(k) = sgn(wiTx(k)) = di(k) (3.5)

ạ2 Adaline (Adaptive linear Element)

Tính hiệu ramẫu có dạng tuyến tính dốc, từ (3.4) ta có:

b Mạng truyền thẳng đa lớp (Multilayer feedforward networks) b.1 Lan

truuyền ngược (Back propagation)

Thuật toán huấn luyện lan truyền ngược có một ý nghĩa quan trọng trong lịch

sử phát triển mạng neuron Các mạng neuron được huấn luyện được huấn luyện bằng thuật toán này gọi là mạng lan truyền ngược với các tập học {(x(k), d(k)},

k=1 p, thuật toán lan truyền ngược đưa ra các thủ tục để thay đổi trọng số trong mạng lan truyền ngược Cơ sở của việc cập nhật các trọng số này là cơ chế suy

trọng số cho chúng Xét cụ thể một mạng neuron 3 l ớp lan truyền ngược (hình 3.7) để minh họathuật tốn lan truyền ngược và kết quả này hồn tồn cĩ thể mở rộng cho những mạng cĩ số lớpnhiều hơn.

Hình 3.7 Mạng neural 3 lớp lan truyền ngược

Mạng neuron 3 lớp lan truyền ngược hình 3.7 có m neuron ở lớp vào, l neuron ở lớp ẩn và

n neuron ở lớp ra

Đầu tiên, xét cặp mẫu huấn luyện (x,d) với tín hiệu mẫu đầu vào x ở lớp vào,

neuron q ở lớp ẩn sẽ nhận được tín hiệu: