Tiểu luận môn Máy học và ứng dụng PHÂN LỚP CẢM XÚC MẶT NGƯỜI BẰNG MẠNG NƠ-RON NHÂN TẠO

Các hệ thống đã được phát triển để dò tìm và nhận dạng khuôn mặt,nhưng tính đáng tin cậy trong nhận dạng khuôn mặt vẫn còn là một thách thức lớnđối với cá nhà nghiên cứu về nhận dạng mẫu

BÁO CÁO ĐỒ ÁN MÔN HỌC MÁY HỌC VÀ ỨNG DỤNG

PHÂN LỚP CẢM XÚC MẶT NGƯỜI BẰNG

MẠNG NƠ-RON NHÂN TẠO

GV hướng dẫn: PGS TS Vũ Thanh Nguyên

HV thực hiện: Phan Thị Trinh MSHV: CH1301067

Thành phố Hồ Chí Minh - 2014

MỤC LỤC

Trang

CHƯƠNG 1 TỔNG QUAN 5

1.1 Giới thiệu 5

1.2 Bài toán nhận dạng biểu lộ cảm xúc khuôn mặt và những khó khăn 6

1.2.1 Bài toán nhận dạng biểu lộ cảm xúc khuôn mặt 6

1.2.2 Những khó khăn của nhận dạng cảm xúc khuôn mặt 7

1.3 Tổng quan hệ thống nhận dạng cảm xúc khuôn mặt 8

1.4 Các ứng dụng 9

CHƯƠNG 2 RÚT TRÍCH ĐẶC TRƯNG CỦA KHUÔN MẶT BẰNG PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN CHÍNH 11

2.1 Thuật toán PCA (Principal Component Analysis) 11

2.1.1 Khái niệm PCA 11

2.1.2 Nội dung phương pháp PCA 12

2.2 Áp dụng PCA để rút trích các đặc trưng cục bộ 14

CHƯƠNG 3 PHÂN LỚP CẢM XÚC BẰNG MẠNG NƠ-RON DỰA TRÊN RÚT TRÍCH ĐẶC TRƯNG 15

3.1 Mạng Nơ-ron 15

3.1.1 Giới thiệu chung 15

3.1.2 Mô hình của một nơ-ron nhân tạo 15

3.1.3 Các kiểu hàm kích hoạt 18

3.1.4 Phản hồi (feedback) 21

3.1.5 Kiến trúc mạng Nơ-ron: 23

3.2 Huấn luyện mạng nơ-ron 27

3.2.1 Phương pháp học 27

3.2.2 Thuật toán học 28

3.3 Phân lớp cảm xúc khuôn mặt bằng mạng nơ-ron đa lớp với thuật giải lan truyền ngược dựa trên rút trích các đặc trưng của khuôn mặt 33

3.3.1 Cấu trúc mạng nơ-ron đa lớp 33

3.3.2 Huấn luyện mạng ANN_FEA 34

CHƯƠNG 4 THỬ NGHIỆM VÀ KẾT QUẢ 35

4.1 Thử nghiệm 35

4.1.1 Cơ sở dữ liệu ảnh 35

4.1.2 Quá trình huấn luyện 36

4.2 Kết quả 36

4.3 Nhận xét 39

4.4 Một số kết quả tiêu biểu 39

TÀI LIỆU THAM KHẢO 42

DANH MỤC CÁC BẢNG BIỂU

TrangBảng 3.1 Các nút đầu ra tương ứng là giận dữ, sợ hãi, ngạc nhiên, buồn, vui, ghê tởm, bình thường 34Bảng 4.1 Phân chia ảnh trong tập cơ sở dữ liệu ảnh 35Bảng 4.2 Kết quả kiểm thử sau khi đã huấn luyện nhanh với số vòng lặp 20000 và

hệ số học =0.3 36Bảng 4.3 Kết quả kiểm thử sau khi đã huấn luyện nhanh với 20000 vòng lặp và số nút ẩn là 10 37Bảng 4.4 Kết quả kiểm thử sau khi huấn luyện nhanh với 20000 vòng lặp 37Bảng 4.5 Kết quả kiểm thử sau khi đã huấn luyện đầy đủ 38

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Trang

Hình 1.1 Ví dụ nhận diện cảm xúc mặt người 7

Hình 1.2 Cấu trúc cơ bản của hệ thống phân tích biểu lộ khuôn mặt 8

Hình 3.1 Mô hình một mạng nơ-ron nhân tạo 16

Hình 3.2 Mô hình phi tuyến tính của nơ-ron 17

Hình 3.3 (a) Hàm ngưỡng, (b) Hàm vùng tuyến tính, (c) Hàm sigma với tham số độ dốc a thay đổi 19

Hình 3.4.Đồ thị luồng tín hiệu của một hệ thống phản hồi vòng lặp đơn 22

Hình 3.5 Mạng tiến với một mức Nơ-ron 24

Hình 3.6 Mạng tiến kết nối đầy đủ với một mức ẩn và một mức đầu ra 25

Hình 3.7 Mạng hồi quy không có nơ-ron ẩn và không có vòng lặp tự phản hồi 26

Hình 3.8 Mạng hồi quy có các nơ-ron ẩn 26

Hình 3.9 Mô hình một nơ-ron nhân tạo 30

Hình 3.10 Cấu trúc mạng nơ-ron ANN_FEA 33

Hình 4.1 Bảy trạng thái cảm xúc khác nhau của một cô người mẫu Nhật trong tập cơ sở dữ liệu ảnh JAFFE 35

Hình 4.2 Trường hợp phân lớp đúng với trạng thái Vui 39

Hình 4.3 Trường hợp phân lớp đúng với trạng thái Buồn 40

Hình 4.4 Trường hợp phân lớp đúng với trạng thái Sợ hãi 41

1) CHƯƠNG 1 TỔNG QUAN 1.1 Giới thiệu

Nhận dạng mặt người được ứng dụng trong rất nhiều lĩnh vực như bảo mật,chứng thực cá nhân, giao tiếp Internet và giải trí máy tính Mặc dù nhận dạng mặtngười tự động đã được nghiên cứu rất sớm từ những năm 1960, bài toán này vẫncòn nhiều vấn đề chưa được giải quyết Những năm gần đây đã có những tiến bộđang kể trong lĩnh vực này nhờ sự cải tiến trong kỹ thuật phân tích và lấy mẫukhuôn mặt Các hệ thống đã được phát triển để dò tìm và nhận dạng khuôn mặt,nhưng tính đáng tin cậy trong nhận dạng khuôn mặt vẫn còn là một thách thức lớnđối với cá nhà nghiên cứu về nhận dạng mẫu và thị giác máy tính

Càng ngày càng có nhiều sự quan tâm đến nhận dạng mặt người vì một số lý

do sau: tăng cường an ninh ở nơi công cộng, sự cần thiết chứng thực nhận dạngtrong thế giới số, sự cần thiết về các kỹ thuật phân tích và mô hình khuôn mặt tronggiải trí máy tính và quản lý dữ liệu đa phương tiên Những tiến bộ gần đây trongphân tích mặt tự động, nhận dạng mẫu và máy học giúp chúng ta có thể phát triểnmột hệ thống nhận dạng mặt tự động nhằm vào các ứng dụng trên

Biểu cảm khuôn mặt là những thay đổi trong phản ứng với trạng thái cảmxúc bên trong của một người, hoặc khi giao tiếp trong xã hội Con người giao tiếpvới nhau không chỉ bằng ngôn ngữ lời nói mà còn bằng ngôn ngữ cử chỉ và cảm xúcbiểu lộ trên khuôn mặt.Theo Mehrabian, trong giao tiếp cảm xúc thì 55% thông điệp

sẽ được chuyển tải qua biểu cảm khuôn mặt, trong khi đó chỉ có 7% qua ngôn ngữnói và 38% qua ngôn ngữ cử chỉ

Phân tích cảm xúc khuôn mặt là đề tài nghiên cứu về khoa học hành vi của Darwin

đã được nghiên cứu từ năm 1872 Năm 1978, M Suwa, N Sugie, và K.Fujimoratrình bày một thử nghiệm về phân tích tự động biểu lộ khuôn mặt bằng

cách theo dõi hoạt động của 20 điểm xác định trên một chuỗi ảnh Sau đó, có nhiều

sự phát triển được thực hiện để xây dựng các hệ thống máy tính giúp chúng ta hiểu

và sử dụng hệ thống giao tiếp tự nhiên giữa người và máy P Eckman cho rằng conngười có sáu trạng thái cảm xúc cơ bản là: vui (joy), ngạc nhiên (surprise), ghê tởm(disgust), buồn (sadness), giận dữ (anger)và sợ hãi (fear) Ngoài ra có thể thêm vàomột cảm xúc nữa là bình thường (neutral)

Phân tích cảm xúc mặt người là một trong những ứng dụng của nhận dạngmặt người Từ những phân tích đó, ta sẽ nhận dạng được cảm xúc khuôn mặt Trướcđây, robot được lập trình và hoạt động cứng nhắc theo chương trình sẵn có chỉ giaotiếp được với con người qua bàn phím, chuột, màn hình, robot chỉ được xem nhưmột cái máy Tuy nhiên, với sức mạnh của các bộ vi xử lý ngày nay, đã cho phéprobot giao tiếp với con người theo một cách mới, đó là hình ảnh (thị giác) và âmthanh Trong tương lai, robot có thể “nhìn thấy” con người xung quanh nó và giaotiếp lại một cách rất “người” như thể hiện cảm xúc, điệu bộ, … Do đó, nhiều dự án

ở nước ngoài đã được nghiên cứu nhằm điểu khiển robot có tính cách người hơn(humanoid robot), nghĩa là robot có thể hiểu được cảm xúc và cử chỉ của con người

Để thực hiện ý tưởng đó, đòi hỏi chúng ta phải tạo cho robot một hệ thống tự độngnhận biết cảm xúc mặt người Ngoài ra, việc ứng dụng nhận dạng trạng thái conngười trong điều tra tội phạm cũng là vấn đề đáng được quan tâm Hệ thống có thể

tự động nhận dạng mặt người trong một dòng video thực và tiếp tục nhận dạngnhững cảm xúc của mặt người trong thời gian thực Nói cách khác, hệ thống tựđộng kiểm tra mặt người và nhận dạng ra các cảm xúc mặt người: bình thường(neutral), buồn (sadness), vui (joy), giận dữ (angry), ngạc nhiên (surprise), sợ hãi(fear), ghê tởm (disgust)

1.2 Bài toán nhận dạng biểu lộ cảm xúc khuôn mặt và những khó khăn1.2.1 Bài toán nhận dạng biểu lộ cảm xúc khuôn mặt

Bài toán nhận dạng cảm xúc khuôn mặt yêu cầu như sau:

Xuất (Output): Cảm xúc của người có trong ảnh: bình thường (neutral), buồn(sadness), vui (joy), giận dữ (angry), ngạc nhiên (surprise), sợ hãi (fear), ghê tởm(disgust).

Hình 1.1 Ví dụ nhận diện cảm xúc mặt người

1.2.2 Những khó khăn của nhận dạng cảm xúc khuôn mặt

Bài toán nhận dạng cảm xúc mặt người dù đã được nghiên cứu từ những năm

70, nhưng kết quả đạt được vẫn còn hạn chế vì gặp rất nhiều khó khăn như:

a Điều kiện chiếu sáng: Ảnh được chụp trong các điều kiện chiếu sáng khácnhau sẽ gây khó khăn trong việc phân tích đặc trưng của ảnh

b Khuôn mặt có thêm nhiều thành phần khác: Các thành phần này có thể làrâu mép, râu hàm, mắt kính, Các thành phần này có thể làm cho việcgiải quyết bài toán gặp rất nhiều khó khăn

c Tư thế chụp ảnh: khuôn mặt có thể được chụp ở nhiều góc độ khác nhaunhư: chụp thẳng, xoay trái 450 hoặc 900, xoay phải 450 hoặc 900, mặt nhìnxuống, mặt nhìn lên, Với các tư thế chụp ảnh khác nhau sẽ làm choviệc phân tích các thành phần như mắt, mũi, miệng có thể bị lệch, bị chekhuất

Input

Phân lớp cảm xúc khuôn mặt

Output

Vui

Định vị gương mặtRút trích và biểu diễn lại dữ liệu về khuôn mặtPhân lớp biểu lộ khuôn mặt

Dựa vào diện mạo

Dựa vào khung

Dựa vào chuỗi

1.3 Tổng quan hệ thống nhận dạng cảm xúc khuôn mặt

Phương pháp tổng quát để phân tích tự động biểu lộ khuôn mặt (AFEA:automatic facial expression analysis) thông thường gồm ba bước xử lý: định vịkhuôn mặt, rút trích và biểu diễn dữ liệu đặc trưng, phân lớp cảm xúc khuôn mặt

Hình 1.2 Cấu trúc cơ bản của hệ thống phân tích biểu lộ khuôn mặt

Bước 1: Định vị khuôn mặt

Định vị khuôn mặt là một pha xử lý để tự động tìm thấy những vùng có mặtngười từ một ảnh hoặc một chuỗi các ảnh liên tiếp Nó có thể là một công cụ dò tìmnhững khuôn mặt trong mỗi khung hình hoặc dò tìm khuôn mặt trong khuôn mặtđầu tiên sau đó theo dõi khuôn mặtnày trong các khung hình còn lại của video Bước 2: Rút trích đặc trưng và biểu diễn lại dữ liệu về khuôn mặt

Khuôn mặt được định vị ở bước 1, bước tiếp theo rút trích và biểu diễn lạinhững thay đổi của khuôn mặt gây ra bởi biểu lộ của khuôn mặt Có 2 cách tiếp cận:phương pháp dựa vào các đặc điểm hình học và phương pháp dựa vào diện mạo của

cả khuôn mặt

- Phương pháp dựa vào đặc điểm hình học (Geometric feature-based

mặt(miệng, mắt, lông mày, mũi, trán, gò má), những thành phần này vànhững điểm đặc trưng của khuôn mặt sẽ được rút trích và xây dựng nên mộtvector đặc trưng biểu diễn cho khuôn mặt.

- Phương pháp dựa vào diện mạo của cả khuôn mặt (Appearance-basemethods): với phương pháp này thì các phương pháp lọc ảnh như là Gaborwavelets được áp dụng trên toàn bộ mặt hoặc trên từng vùng của mặt để rút

ra các vector đặc trưng

Bước 3:Phân lớp biểu lộ khuôn mặt

Dựa vào những đặc trưng ở bước 2, hệ thống sẽ thực hiện việc phân lớp biểu

lộ khuôn mặt : các phương pháp phân lớp thường được sử dụng ở bước nàynhư :mạng Nơ-ron, eigenface, Support Vector Machine (SVM), phân lớp Bayes, môhình Markov ẩn (HMM),…

- Hệ thống phát hiện nói dối thông qua những biểu lộ của khuôn mặt: Mộtnghiên cứu mới thực hiện tại phòng thí nghiệm tâm lý pháp lý StenphenPorter tại đại học Dalhousie đã cho thấy khuôn mặt sẽ tiết lộ cảm xúc thực sựcủa người nói dối

- Chế tạo robot: Thông qua đôi mày, mắt, mí mắt, hàm, các chuyên gia robottại Viện công nghệ Massachusetts của Mỹ vừa chế tạo một robot có tên làNexi, có khả năng biểu lộ cảm xúc trên khuôn mặt giống như con người

- Hệ thống nhận dạng tội phạm: Giúp cơ quan an ninh quản lý tốt con người.Công việc nhận dạng có thể ở trong môi trường bình thường cũng như trongbóng tối.

- Hệ thống quan sát, theo dõi và bảo vệ: Thông qua những biểu lộ trên khuônmặt, máy có thể phát hiện ra đâu là con người và theo dõi họ có vi phạm gìkhông? Ví dụ xâm phạm khu vực không được vào, hay phát hiện tài xế taxingủ gật, mất tập trung hay không? Và hổ trợ thông báo khi cần thiết

- Hệ thống điều khiển vào ra: văn phòng, công ty, trụ sở, máy tính, Palm,….Cho phép nhân viên được ra vào nơi cần thiết hay mỗi người sẽ đăng nhậpmáy tính cá nhân của mình mà không cần nhớ tên đăng nhập cũng như mậtkhẩu mà chỉ cần xác định thông qua khuôn mặt

- Hệ thống phân loại trong lưu trữ hình ảnh trong điện thoại di động: Thôngqua bài toán xác định khuôn mặt người và trích đặc trưng, rồi dựa vào đặcđiểm trên khuôn mặt để sắp xếp lưu trữ, giúp người sử dụng dễ dàng truy tìmkhi cần thiết

Ngoài ra, nó còn được ứng dụng để điều trị tâm lý, tâm thần, thần kinh, đánhgiá sự đau đớn, môi trường thông minh và giao tiếp người- máy(HCL- Human-Computer- Interface)

1) CHƯƠNG 2 RÚT TRÍCH ĐẶC TRƯNG CỦA KHUÔN MẶT

BẰNGPHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN

CHÍNH 2.1.Thuật toán PCA (Principal Component Analysis)

2.1.1.Khái niệm PCA

Phương pháp PCA là phương pháp nhằm làm giảm số chiều của một tập các vectơ sao cho vẫn đảm bảo được tối đa thông tin quan trọng nhất của tập dữ liệu huấn luyện Như vậy, phương pháp PCA tìm cách giữ lại những thành phần thống

kê quan trọng nhất của tập mẫu

Về bản chất, PCA tìm một không gian mới theo hướng biến thiên mạnh nhất của các vector trong không gian gốc Và trong không gian mới người ta hi vọng việc phân loại sẽ mang lại kết quả tốt hơn không gian ban đầu

Ưu điểm của thuật toán PCA:

- Tìm được đặc tính tiêu biểu của đối tượng cần nhận dạng mà không cần phải xác định các thành phần và mối quan hệ giữa các thành phần đó

- Thực hiện tốt với các ảnh đầu vào có độ phân giải cao do PCA sẽ thu gọn ảnh đầu vào thành một ảnh mới có kích thước nhỏ hơn nhiều

- Khối lượng tính toán không nhiều

- PCA có tính mở nên có thể kết hợp với các phương pháp khác ( như mạng nơ-ron, Support Vector Machine-SVM…) để mang lại hiệu quả nhận dạng cao

Nhược điểm của PCA:

- PCA phân loại theo chiều biến thiên lớn nhất của các vector, tuy nhiên khôngphải lúc nào theo chiều này cũng mang lại hiệu quả cao nhất cho nhận dạng Đây là nhược điểm cơ bản của PCA

- PCA rất nhạy với nhiễu, vì vậy nhiệm vụ tiền xử lí (lọc nhiễu, chuẩn hóa…) đòi hỏi thực hiện kỹ

2.1.2 Nội dung phương pháp PCA

Khi sử dụng PCA, ta coi ảnh mặt người n x n pixel là một ma trận n x n PCA sẽ tìm không gian mới từ k vector trong không gian k chiều với k << n, mỗi vector gọi là một eigenvector

1 2

n

a a A a

k

w w W w

Các bước trích chọn đặc trưng bằng PCA:

Giả sử có M vector x(x1, x2,… xn ) (với x1, x2,… xn là các vector N x 1) cần trích chọn đặc trưng

- Bước 1: Tính kì vọng ( trị trung bình )

1

1 M

i i

(2.2)

- Bước 2: là bước loại bỏ đặc tính thống kê cấp 1 Tính độ lệch bằng cách dữ liệu trừ đi giá trị trung bình

Các vector riêng này tạo thành một cơ sở U(u u1, , ,2 u n) tức là các vector xi

có thể được biểu diễn bởi một tổ hợp tuyến tính các vector ui

- Bước 7: tính đặc trưng PCA của dữ liệu Đặc trưng PCA (PCAfeature hay trong bài toán nhận dạng gọi là eigenface) được tính bằng cách nhân ma trận

dữ liệu (đã hiệu chỉnh giá trị trung bình) với tập cơ sởU(u u1, , ,2 u ) n chuyển

vị Phép toán này tương đương với phép chiếu một vector lên không gian tín hiệu

- Bước 8: ở bước 7 đã tạo được tập dữ liệu đặc trưng có kích thước như kích thước ban đầu, và từ tập dữ liệu đặc trưng ta có thể tái tạo lại dữ liệu gần

giống dữ liệu gốc Song bài toán nhận dạng chỉ cần những nét đặc trưng nhất

để nhận dạng, nên ta chỉ chọn K vector riêng ứng với K trị riêng lớn nhất để tạo cơ sở U(u u1, , ,2 u ) k với K << N Các vector x x biểu diễn trong U là:



1

K

i i i

C’ sẽ có kích thước là MxM (M là số mẫu) Ta sẽ chứng minh như sau: gọi

vi,δi lần lượt là vector riêng và trị riêng của C’:

Nhân cả hai vế của (3.39) với A:

Vectơ V sẽ được sử dụng để làm đầu vào cho mô hình mạng nơ-ron mà tôi xây dựng được trình bày ở chương 3

2) CHƯƠNG3 PHÂN LỚP CẢM XÚC BẰNG MẠNG NƠ-RON DỰA

TRÊN RÚT TRÍCH ĐẶC TRƯNG 3.1 Mạng Nơ-ron

3.1.1 Giới thiệu chung

Mạng nơ-ron (Nơ-ron Networks) trong một vài năm trở lại đây đã đượcnhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau,như tài chính, y tế, địa chất và vật lý Thật vậy, bất cứ ở đâu có vấn đề về dự báo,phân loại và điều khiển, mạng nơ-ron đều có thể ứng dụng được Sự thành côngnhanh chóng của mạng nơ-ron có thể là do một số nhân tố chính sau:

Năng lực: mạng nơ-ron là những kỹ thuật mô phỏng rất tinh vi, có khả năng

mô phỏng các hàm cực kỳ phức tạp Đặc biệt, mạng nơ-ron hoạt động phi tuyến.Trong nhiều năm, mô hình tuyến tính là kỹ thuật được sử dụng rộng rãi trong hầuhết các lĩnh vực, vì thế mô hình tuyến tính có tính chiến lược tối ưu hóa được biếtnhiều nhất

Để sử dụng mạng nơ-ron, người sử dụng mạng nơ-ron thu thập các dữ liệuđặc trưng, sau đó gọi các thuật toán huấn luyện để có thể tự học cấu trúc của dữliệu Mạng nơ-ron dựa trên việc mô phỏng cấp thấp hệ thống nơ-ron sinh học.Trong tương lai với sự phát triển mô phỏng nơ-ron sinh học, chúng ta có thể có loạimáy tính thông minh thật sự

3.1.2 Mô hình của một nơ-ron nhân tạo

Mặc dù hiểu biết của con người về kiến trúc và hoạt động của não còn chưa đầy

đủ, người ta tạo ra được các máy có một số tính năng tương tự não nhờ mô phỏngcác đặc điểm:

1 Tri thức thu nhận được nhờ quá trình học

2 Tính năng có được nhờ kiến trúc mạng và tính chât kết nối

Các loại mô phỏng này có tên chung là mạng nơ-ron nhân tạo hay gọn hơn mạngnơ-ron và viết tắt là ANN hoặc gọn hơn là NN Trong ứng dụng chúng thường đượctích hợp với các hệ khác

Đặc điểm chính của ANN

1 Phi tuyến Cho phép xử lý phi tuyến:

2 Cơ chế ánh xạ vào → ra (x → d(x)) cho phép học có giám sát

3 Cơ chế thích nghi Thay đổi tham số phù hợp với môi trường

4 Đáp ứng theo mẫu đào tạo Được thiết kế không nhữngcung cấp thông tin vềmẫu đào tạo mà còn cho biết mức tin cậy của nó

5 Thông tin theo ngữ cảnh.Tri thức được biểu diễn tuỳ theo trạng thái và kiếntrúc của ANN

6 Cho phép có lỗi (fault tolerance)

7 Tích hợp lớn

8 Mô phỏng sinh học

Để mô phỏng các tế bào thần kinh và các kết nối thần kinh của bộ não conngười, trong mạng nơ-ron nhân tạo cũng có các thành phần có vài trò tương tự làcác nơ-ron nhân tạo cùng các kết nối.Một nơ-ron nhân tạo là một đơn vị tính toánhay xử lý thông tin cơ sở cho hoạt động của một mạng nơ-ron Ở đây, chúng ta xácđịnh ba thành phần cơ bản của một mô hình nơ-ron:

Hình 3.3 Mô hình một mạng nơ-ron nhân tạo.

- Một tập hợp các kết nối (synapse), mà mỗi một trong chúng được đặc trưngbởi một trọng số của riêng nó Tức là một tín hiệu xjtại đầu vào của kết nối j nối vớinơ-ron k sẽ được nhân với trọng số kết nối wkj Ở đó k là chỉ số của nơ-ron tại đầu

ra của kết nối đang xét, còn j chỉ điểm đầu vào của kết nối Các trọng số kết nối củamột nơ-ron nhân tạo có thể nhận cả các giá trị âm và các giá trị dương

- Một bộ cộng để tính tổng các tín hiệu đầu vào của nơ-ron, đã được nhân vớicác trọng số kết nối tương ứng, phép toán được mô phỏng ở đây tạo nên một bộ tổhợp tuyến tính

- Một hàm kích hoạt (activation function) để giới hạn biên độ đầu ra của ron Hàm kích hoạt cũng được xem xét như là một hàm nén, nó nén (giới hạn) phạm

nơ-vi biên độ cho phép của tín hiệu đầu ra trong một khoảng giá trị hữu hạn Mô hìnhnơ-ron trong hình còn bao gồm một hệ số hiệu chỉnh tác động từ bên ngoài bk Hệ

số hiệu chỉnh có tác dụng tăng lên hoặc giảm đi đầu vào thực của hàm kích hoạt, tùytheo nó dương hay âm

Hình 3.4 Mô hình phi tuyến tính của nơ-ron.

Dưới dạng công thức toán học, chúng ta có thể mô tả một nơ-ron k bằng cặp

x b

Ở đó là các tín hiệu đầu vào; là các trọng số kết nối của nơ-ron k; là đầu ra

bộ tổ hợp tuyến tính tương ứng; là hệ số hiệu chỉnh Hệ số hiệu chỉnh là một tham

số ngoài của nơ-ron nhân tạo k Chúng ta có thể thấy được sự có mặt của nó trongcông tức Một cách tương đương, chúng ta có thể tổ hợp các công thức như sau:

cố định là 1 và thêm một trọng số kết nối mới bằng giá trị của hệ số b Mặc dầu các

mô hình trong hai hình là khác nhau về hình thức nhưng tương tự về bản chất toánhọc

Một nơ-ron như vậy thường được gọi là mô hình McCulloch- Pitts

Hình 3.5 (a) Hàm ngưỡng, (b) Hàm vùng tuyến tính, (c) Hàm sigma với tham số độ dốc a thay đổi.

3.1.3.2 Hàm vùng tuyến tính:

Đối với loại hàm này, chúng ta có

11,

1( )

Các hàm kích hoạt được định nghĩa trong các công thức trên đều trong phạm

vi từ 0 đến 1 Đôi khi có những yêu cầu xây dựng hàm kích hoạt trong phạm vi từ -1đến 1, trong trường hợp này hàm kích hoạt được giả định có dạng đối xứng qua gốc