6.3.1 Biểu diễn định tớnh
Ngoài cỏch biểu diễn định lượng (theo tham số) nhưđó mụ tảở trờn, tồn tại nhiều kiểu đối tượng mạng tớnh định tớnh (theo cấu trỳc). Trong cỏch biểu diễn này, người ta quan tõm đến cỏc dạng và mối quan hệ giữa chỳng. Giả thiết rằng, mỗi đối tượng được biểu diễn bởi một dóy ký tự, cỏc đặc tớnh biểu diễn bởi cựng một số ký tự. Phương phỏp nhận dạng ởđõy là nhận dạng logic, dựa vào hàm phõn biệt là hàm Bool. Cỏch nhận dạng là nhận dạng cỏc từ cú cựng độ dàị
Giả sử hàm phõn biệt cho mọi ký hiệu là ga(X), gb(X), … tương ứng với cỏc ký hiệu a, b, … Để dễ dàng hỡnh dung, ta giả sử cú từ‘abcd’ được biểu diễn bởi một dóy ký tự X={x1, x2, x3, x4}, khi đú hàm phõn biệt tương ứng nhận được là:
ga(x1)+ gb(x2) + gc(x3) + gd(x4)
Cỏc phộp cộng ởđõy cú thể ỏp dụng toỏn tửOR. Trờn cơ sở tớnh giỏ trị cực đại của hàm phõn biệt, việc xỏc định (quyết định) X cú thuộc lớp cỏc từ “abcd” hay khụng. Trong cỏch tiếp cận này, đối tượng của ta cú thể xem là tương đương với một cõu hay một mệnh đề.
Thủ tục phõn loại và nhận dạng ởđõy gồm hai giai đoạn:
• Giai đoạn 1: xỏc định cỏc quy tắc xõy dựng, tương đương với việc nghiờn cứu một văn phạm trong một ngụn ngữ chớnh thống
• Giai đoạn 2: xem xột tập cỏc dạng trong khụng gian mẫu cú được sinh ra hoàn toàn từ cỏc dạng cơ bản đú khụng. Nếu nú thuộc tập đú thỡ coi nhưđó phõn loại xong.
Tuy nhiờn, ở phương phỏp này, văn phạm là một vấn đề lớn khỏ phức tạp và khú cú thể
tỡm được loại phự hợp một cỏch hoàn hảo với mọi đối tượng. Vỡ vậy, trong nhận dạng dự theo cấu trỳc, ta chỉ sử dụng được một phần rất nhỏ.
Như đó trỡnh bày trong phần cỏc mụ hỡnh biểu diễn mẫụ Mụ hỡnh cấu trỳc tương đương với một văn phạm G: G={V1, Vn, P, S}. Ngoài ra cũn cú rất nhiều văn phạm khỏc nhau từ chớnh tắc đến phi ngữ cảnh. Một văn phạm sẽ được sử dụng trong nhận dạng bởi một ngụn ngữ hỡnh thức, trong đú cú một ngụn ngữ điển hỡnh cho nhận dạng cấu trỳc là PLD (Picture Language Description).
Trong ngụn ngữ PLD, cỏc từ vựng là cỏc vạch cú hướng. Cú bốn từ vựng cơ bản:
Hỡnh 6.3 Cỏc từ vựng cơ bản của ngụn ngữ hỡnh thức PLD
Cỏc phộp toỏn cho cỏc từ vựng trờn được định nghĩa như sau:
Hỡnh 6.4. Cỏc phộp toỏn trong ngụn ngữ LCD a: b: c: d: + : a + b - : a - b x : a x b * : a * b
Văn phạm sinh ra cỏc mụ tả trong ngụn ngữ PLD được định nghĩa như sau:
GA = {Vn, VT, P, S}
Với Vn = {A, B, C, D, E} và VT = {a, b, c , d}. S là ký hiệu bắt đầu và P là tập luật sản xuất.
6.3.2 Cỏc bước nhận dạng
Cỏc đối tượng cần được nhận dạng theo phương phỏp nay fđược biểu diễn bởi một cõu strong ngụn ngữ, gọi là L(G). Kh iđú thao tỏc phõn lớp chớnh là xem xet một đối tương cú thuộc văn phạm L(G) khụng. Núi cỏch khỏc, nú cú được sinh ra bởi cỏc luật của văn phạm G hay khụng. Như vậy cỏc bước cần phải thực hiện là:
• Xỏc định tập V1 chung cho tất cả mọi đối tượng
• Xỏc định cỏc quy tắc Pđể sản sinh ra một cõu và chỳng khỏc nhau đối với mỗi lớp
• Thực hiện quỏ trỡnh học với cỏc cõu biểu diễn cỏc đối tượng mẫu l nhằm xỏc định văn phạm G.
• Ra quyết định: xỏc định một đối tượng X được biểu diễn bởi một cõu lx. Nếu lx
nhận biết bởi L(Gk) thỡ ta núi rằng X là một đối tượng thuộc loại Ck.
Núi cỏch khỏc, việc ra quyết định phõn lớp dựa vào phõn tớch cõu Gk biểu diẽn lớp Ck.. Việc nhận dạng dựa theo cấu trỳc vẫn cũn là một ý tưởng và cũn nhiều điều cần nghiờn cứụ
6.4 NHẬN DẠNG DỰA THEO MẠNG NƠRON 6.4.1 Giới thiệu mạng nơron
Nghiờn cứu về nơron thần kinh từ lõu đó trở thành đề tài được nhiều nhà khoa học quan tõm. Nhưng kỷ nguyờn của mạng nơron chớnh thức được bắt đầu với bỏo cỏo khoa học của Mc Culloch và Pitts năm 1943 miờu tả một phộp tớnh logic của mạng nơron. Bỏo cỏo này được cụng chỳng đún nhận cho đến năm 1949 học thuyết về mạng nơron chớnh thức của Mc. Culloch và Pitts
được mụ tả chủ yếu trong bài giảng thứ hai trong bốn bài giảng mà Von Neumann đó phỏt biểu tại trường đại học Illinois. Sự phỏt triển tiếp theo của quỏ trỡnh nghiờn cứu mạng nơron được đỏnh dấu vào năm 1949 với việc xuất bản cuốn sỏch “The Organization of Behavior: A neuropsychological Theory” của Donald Olding Hebb. Đến năm 1952, cuốn sỏch của Ashby “Design for a Brain” đó mụ tả những điều kiện cần và đủđối với một hệ thống hoạt động giống như bộ nóo “đú là phải học để cũn tồn tại trong mụi trường luụn thay đổi và nhận được những cỏi nú cần”. Tiếp đú, năm 1954, Minsky đó viết luận ỏn tiến sĩ mang tờn “Theory of Neural-analog Reinforcement Systems and Application to Brain-Model Problem” tại trường Đại học Princeton, sau đú là bài bỏo của ụng “Steps Toward Artificial Interligence” năm 1961 về việc học củng cố
trong mạng nơron hiện naỵ Một chủđề khỏc được đỏnh giỏ cao là phỏt kiến về bộ nhớ liờn kết của Taylor vào năm 1956, mởđầu một loạt cỏc kết quả phỏt triển to lớn về saụ Cỏc kết quả cú thể
kểđến là sự ra đời của mạng Perceptron được Frank Rosenblatt cụng bố vào năm 1957 và được coi là “mạng nơron truyền thẳng đơn giản nhất”. Tiếp đú năm 1960, mạng nơron khỏc được Bernard Widrow và Marcian Hoff giới thiệu là ADALINE (ADAptive LINear Element). Với mạng ADALINE lần đầu tiờn kiểu hội tụ cỏc mạch con chứa trọng số trước node tổng được sử (adsbygoogle = window.adsbygoogle || []).push({});
Introduction to Computational Geometry” chỉ ra những giới hạn trong mạng Perceptron một lớp
đơn và đề nghị khắc phục trong mạng Perceptron nhiều lớp. Những năm 1970 nổi bật với cỏc sự
kiện: cỏc mạng liờn kết của Kohonen và Anderson (1972), Cognitron – mạng tự tổ chức nhiều lớp
đầu tiờn do Kunihiko Fukushima người Nhật giới thiệu năm 1975. Thời kỡ phỏt triển vượt bậc của quỏ trỡnh nghiờn cứu mạng nơron là những năm 80 với sự ra đời của một loạt cỏc mạng nơron cú giỏ trị: mạng Hopfied của John Hopfield (1982), SOM (Self-Organization Map) của Kohonen, mỏy Boltzmann của Ackley, Hinton và Sejnowskị Tiếp theo là sự ra đời của mạng Back- Propagation năm 1986 do D. Rumelhart, G. Hilton và R. Williams giới thiệu, sau đú là mạng ART (Adaptive Resonance Networks) vào năm 1987 của Gail Carpenter và Stephen Grossberg tại đại học Boston. Trong những năm 1990 việc ứng dụng cỏc mụ hỡnh mạng nơron vào phục vụ cỏc lĩnh vực trong cuộc sống được phỏt triển mạnh mẽ.
NƠRON SINH HỌC VÀ NƠRON NHÂN TẠO
Mạng nơron nhõn tạo được thiết kế dựa trờn mụ hỡnh mạng nơron thần kinh với cỏc phần tử nơron nhõn tạo của nú là sự mụ phỏng nơron sinh học. Cỏc mức tổ chức bộ nóo và cấu trỳc mạng nơron sinh vật cú thểđược tham khảo trong tài liệụ Trong phần này chỳng ta chỉ tập trung tỡm hiểu cấu tạo của nơron sinh học và nơron nhõn tạo để thấy được sự tương quan giữa chỳng.
Cấu trỳc nơron sinh học
Nơron sinh vật cú nhiều dạng khỏc nhau như dạng hỡnh thỏp, dạng tổ ong, dạng rễ cõỵ Tuy khỏc nhau về hỡnh dạng, chỳng cú cấu trỳc và nguyờn lý hoạt động chung. Một tế bào nơron gồm bốn phần cơ bản:
Cỏc nhỏnh và rễ: Cỏc nhỏnh và rễ là cỏc bộ phận nhận thụng tin, cỏc đầu nhạy hoặc cỏc
đầu ra của cỏc nơron khỏc bỏm vào rễ hoặc nhỏnh của một nơron. Khi cỏc đầu vào từ ngoài này cú sự chờnh lệch về nồng độ K+ , Na+ hay Cl- so với nồng độ bờn trong của nú thỡ xẩy ra hiện tượng thấm từ ngoài vào trong thụng qua một cơ chế màng thấm đặc biệt. Hiện tượng thẩm thấu như vậy tạo nờn một cơ chế truyền đạt thụng tin với hàng ngàn hàng vạn lối vào trờn một nơron sinh vật,
ứng với hàng nghỡn hàng vạn liờn kết khỏc nhaụ Mức độ thẩm thấu được đặc trưng bởi cơ chế
màng tượng trưng bằng một tỷ lệ. Tỷ lệ đú được gọi là tỷ trọng hay đơn giản gọi là trọng (Weight).
Thõn thần kinh (Soma): Thõn thần kinh chứa cỏc nhõn và cơ quan tổng hợp protein. Cỏc ion vào được tổng hợp và biến đổị Khi nồng độ cỏc ion đạt đến một giỏ trị nhất định, xảy ra quỏ trỡnh phỏt xung (hay kớch thớch). Xung đú được phỏt ở cỏc đầu ra của nơron. Dõy dẫn đầu ra xung
được gọi là dõy thần kinh.
Dõy thần kinh (Axon): Dõy thần kinh là đầu rạ Đú là phương tiện truyền dẫn tớn hiệụ Dõy thần kinh được cấu tạo gồm cỏc đốt và cú thể dài từ micro một đến vài một tuỳ từng kết cấu cụ thể. Đầu ra này cú thể truyền tớn hiệu đến cỏc nơron khỏc.
Khớp thần kinh là bộ phận tiếp xỳc của đầu ra nơron với rễ, nhỏnh của cỏc nơron khỏc. Chỳng cú cấu trỳc màng đặc biệt để tiếp nhận cỏc tớn hiệu khi cú sự chờnh lệch về nồng độ ion giữa bờn trong và bờn ngoàị Nếu độ lệch về nồng độ càng lớn thỡ việc truyền cỏc ion càng nhiều và ngược lạị Mức độ thẩm thấu của cỏc ion cú thể coi là một đại lượng thay đổi tuỳ thuộc vào nồng độ như một giỏ trịđo thay đổi được gọi là trọng.
Trong nóo người cú khoảng 15 tỷ nơron, mỗi nơron được nối với nhiều nơron khỏc bằng những khớp thần kinh (synapses), một nơron cú thể cú đến hơn nghỡn synapses, và số synapses tổng cộng lại được ước lượng khoảng 1 triệu tỷ. Tớn hiệu được truyền qua thõn nơron tới cỏc synapses, và tuỳ theo trạng thỏi của chỳng mà một hay nhiều nơron khỏc sẽđược kớch thớch để
tiếp tục truyền tớn hiệụ Đú là mức thấp nhất, nhưng từ đú tổ chức lờn cỏc tầng trờn như thế nào, cú thể cú được một bản đồ chi tiết của một bộ nóo tới từng nơron khụng?
Mạng nơron sinh vật tổ chức thành từng lớp (layer). Ta cú:
+ Mạng một lớp: là tập hợp cỏc phần tử nơron cú đầu vào và đầu ra trờn mỗi một phần tử. Nếu mạng nối đầu ra của cỏc phần tử này với đầu vào của phần tử kia gọi là mạng tự liờn kết (autoassociative).
+ Mạng hai lớp: gồm một lớp đầu vào và một lớp đầu ra riờng biệt.
+ Mạng nhiều lớp: gồm một lớp đầu vào và một lớp đầu ra riờng biệt. Cỏc lớp nằm giữa lớp đầu vào và lớp đầu ra gọi là lớp ẩn (hiđen layers).
+ Mạng truyền thẳng: là mạng hai hay nhiều lớp mà quỏ trỡnh truyền tớn hiệu từđầu ra lớp này đến đầu vào lớp kia theo một hướng.
+ Mạng truyền ngược: là mạng mà trong đú một hoặc nhiều đầu ra của cỏc phần tử lớp sau truyền ngược tới đầu vào của lớp trước.
+ Mạng tự tổ chức: là mạng cú khả năng sử dụng những kinh nghiệm của quỏ khứ để
thớch ứng với những biến đổi của mụi trường (khụng dự bỏo trước). Loại mạng này thuộc nhúm hệ học, thớch nghi khụng cần cú tớn hiệu chỉđạo từ bờn ngoàị
Bảng sau đõy đưa ra những con số cụ thểđể cú thể so sỏnh những ưu việt của bộ nóo con người so với một mỏy tớnh cỏ nhõn mức trung bỡnh hiện naỵ
Bảng 6.1: So sỏnh khả năng làm việc của bộ nóo và mỏy tớnh
Mỏy tớnh Bộ nóo người
Đơn vị tớnh toỏn Bộ xử lý trung tõm với 105 mạch (adsbygoogle = window.adsbygoogle || []).push({});
logic Mạng 1011 nơron
Bộ nhớ 109 bit RAM 1011 nơron
Bộ nhớ ngoài Trờn 1010 bit bộ nhớ ngoài Với 1014 khớp nối thần kinh
Thời gian xử lý 10-8 giõy 10-3 giõy
Thụng lượng 109 bit/giõy 1014 bit/giõy
Cập nhật thụng
tin 105 bit/giõy 1014 nơron/giõy
Những nghiờn cứu trờn đõy là cơ sở mởđường cho con người nghiờn cứu phương phỏp mụ phỏng lại mạng nơron sinh vật, đú chớnh là mạng nơron nhõn tạo
Nơron sinh học cú nhiều dạng khỏc nhau như dạng hỡnh thỏp, dạng tổ ong, dạng rễ cõy tuy nhiờn chỳng cú chung một cấu trỳc và nguyờn lý hoạt động. Hỡnh sau đõy mụ phỏng một nơron sinh học:
Một tế bào nơron gồm cỏc phần cơ bản:
Nhỏnh và rễ:Đõy là bộ phận tiếp nhận thụng tin của tế bào nơron. Cỏc đầu nhạy hoặc cỏc đầu ra của cỏc nơron khỏc bỏm vào rễ hoặc nhỏnh của một nơron. Khi cỏc đầu vào từ ngoài này cú sự chờnh lệch về nồng độ K+, Na+ hay Cl- so với nồng độ bờn trong của nú thỡ xảy ra hiện tưởng thấm từ ngoài vào trong thụng qua cơ chế màng thấm đặc biệt. Hiện tượng thẩm thấu như
vậy tạo nờn một cơ chế truyền đạt thụng tin với hàng ngàn hàng vạn lối vào trờn một nơron sinh học ứng với hàng nghỡn hàng vạn liờn kết khỏc nhaụ Mức độ thẩm thấu của cỏc ion cú thể coi là một đại lượng thay đổi tựy thuộc vào nồng độ gọi là tỷ trọng hay đơn giản là trọng (weight).
Hỡnh 6.1. Hỡnh minh họa nơron sinh học.
Thõn thần kinh: Thõn thần kinh chứa cỏc nhõn và cơ quan tổng hợp protein. Trong quỏ trỡnh cỏc ion vào được tổng hợp và biến đổi khi nồng độ cỏc ion đạt đến một giỏ trị nhất định, xảy ra quỏ trỡnh phỏt xung (hay kớch thớch). Xung đú được phỏt ở đầu ra của nơron . Dõy dẫn đầu ra xung được gọi là dõy thần kinh.
Dõy thần kinh: Đõy là phương tiện truyền dẫn tớn hiệu của giữa cỏc nơron. Dõy thần kinh được cấu tạo gồm cỏc đốt và cú thể dài từ vài micro một đến vài một tựy từng kết cấu cụ thể.
Khớp thần kinh: Là bộ phận tiếp xỳc của đầu ra nơron với nhỏnh, rễ của cỏc nơron khỏc. Chỳng cú cấu trỳc màng đặc biệt để tiếp nhận cỏc tớn hiệu khi cú sự chờnh lệch về nồng độ ion giữa bờn trong và bờn ngoàị Nếu độ lệch càng lớn thỡ việc truyền cỏc ion càng nhiều và ngược lạị
Cấu trỳc nơron nhõn tạo
Trờn cơ sở cấu trỳc của nơron sinh học tổng quỏt người ta đề xuất mụ hỡnh nơron nhõn tạo gồm 3 phần chớnh: Bộ tổng liờn kết đầu vào, bộđộng học tuyến tớnh và bộ phi tuyến, được minh họa cụ thể qua hỡnh vẽ dưới đõy: Cụ thể là:
Bộ tổng liờn kết đầu vào: Là bộ tổng hợp cỏc liờn kết tại đầu vào của một phần tử nơron, mụ tả như sau: ∑ = − = m k k kx t w t v 1 ) ( ) ( θ (1.1) Hỡnh 1.2. Mụ hỡnh nơron nhõn tạọ trong đú:
v(t): Tổng tất cả cỏc đầu vào mụ tả toàn bộ thế năng tỏc động ở thõn nơron .
xk(t): Cỏc đầu vào ngoài; với k là chỉ số chạy, k=1,2…m.
m: Số lượng đầu vào mụ tả tớn hiệu vào từ cỏc đầu nhạy thần kinh hoặc cỏc nơron khỏc.
wk: Trọng liờn kết ngoài giữa cỏc đầu vào k tới nơron hiện tạị
y(t): Tớn hiệu đầu ra nơron .
θ: Ngưỡng (là hằng số), xỏc định ngưỡng kớch thớch hay ức chế.
Bộ động học tuyến tớnh: Đầu vào của phần động học tuyến tớnh là v(t), đầu ra của nú là
u(t) gọi là đầu ra tương tự. Hàm truyền tương ứng của phần động học tuyến tớnh cú thể mụ tả dưới dạng: hay ( ) ) ( ) ( s V s U s H = U(s)=H(s)V(s) (1.2)
Cỏc hàm H(s) thường dựng được liệt kờ trong bảng dưới đõy:
Bảng 1.1. Cỏc hàm truyền H(s) thường dựng H(s) 1 s 1 sT − 1 1 Exp(−sT) Quan hệ vào ra u(t)=v(t) ) ( ) ( t v dt t du = ( ) u(t) v(t) dt t du T + = u(t)=v(t−T)
Bộ phi tuyến: Phần này sử dụng hàm quan hệ phi tuyến f(.) cho đầu ra y, để chặn tớnh hiệu (adsbygoogle = window.adsbygoogle || []).push({});