MÔ PHỎNG QUÁ TRÌNH GHI NHỚ CỦA HỆ THỐNG NOWRRON SINH HỌC

MỞ ĐẦU 1. Tính cấp thiết của luận án Con người được xem là động vật cao cấp nhất nhờ vào khả năng hoạt động đặc biệt của bộ não. Não người phát triển mạnh mẽ và hoàn thiện cho các chức năng như tự điều khiển, lập kế hoạch, lập luận, và suy nghĩ trừu tượng. Các mô hình mô phỏng hoạt động của não người được phát triển để tạo ra các phần mềm máy tính ngày càng thông minh và xử lý thông tin nhanh hơn. Mạng nơron nhân tạo (ANN) là mô hình toán học mô phỏng hiệu quả hoạt động của các nơron sinh học. Trong đó, Bộ nhớ liên kết hai chiều (BAM), Bộ nhớ liên kết mờ (FAM), và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) là ba mạng nơron điển hình mô phỏng quá trình ghi nhớ thông tin. Quá trình học của ba mô hình này chưa tối ưu do hai nguyên nhân: (i) việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hợp lý và (ii) luật học lưu trữ chưa triệt để các thông tin học được từ dữ liệu huấn luyện. Hơn nữa, kết quả của quá trình học có ảnh hưởng lớn đến quá trình nhớ lại các mẫu đã lưu. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu ngày càng phức tạp của các ứng dụng thực. 2. Các đóng góp của luận án 1. Đề xuất thuật toán học mới cho BAM để cho quá trình huấn luyện diễn ra nhanh hơn và linh động hơn. Đồng thời, thuật toán hỗ trợ việc cải thiện khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao. 2. Cải tiến luật học của FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết của các cặp mẫu huấn luyện. Việc cải tiến này giúp nâng cao khả năng nhớ lại từ các mẫu vào có dạng nhiễu phức tạp. 3. Đề xuất hai luật học hiệu quả cho Fuzzy ART với hai ưu điểm gồm học mọi mẫu huấn luyện và giảm ảnh hưởng của các mẫu huấn luyện dị thường. Các kết quả của luận án đã được công bố và chấp nhận công bố trong 2 bài báo ở tạp chí ISI quốc tế, 7 báo cáo trong kỷ yếu có phản biện của hội nghị quốc tế được xuất bản bởi IEEE và Springer, và 2 bài báo ở tạp chí trong nước. 3. Bố cục của luận án Ngoài phần mở đầu và kết luận, luận án được tổ chức như sau.

  Nông Th Hoa MÔ PHNG QUÁ TRÌNH GHI NH CA H THC Chuyên ngành: Khoa hc máy tính Mã s: 62.48.01.01 TÓM TT LUN ÁN TI THÔNG TIN Hà Ni 2014 Công trình được hoàn thành tại: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội. Người hướng dẫn khoa học: PGS.TS. Bùi Thế Duy Phản biện 1: Phản biện 2: Phản biện 3 Luận án tiến sĩ sẽ được bảo vệ trước hội đồng cấp Đại học Quốc gia chấm luận án tiến sĩ họp tại………………………………………………………… Vào hồi giờ ngày tháng năm Có thể tìm hiểu luận án tại: -Thư viện Quốc gia Việt Nam -Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội 1 MỞ ĐẦU 1. Tính cấp thiết của luận án ng vt cao cp nht nh vào kh c bit ca b i phát trin mnh m và hoàn thin cho các ch u khin, lp k hoch, lp lung. Các mô hình mô phng hong ca não c phát tri to ra các phn mm máy tính ngày càng thông minh và x lý thông  M-ron nhân to (ANN) là mô hình toán hc mô phng hiu qu hong ca các -ron sinh h (BAM) (FAM), và  (Fuzzy ART) -   t nhân: (i) vic gn trng s cho các mu trong tp hun luyp lý và (ii) lut hc   các thông tin hc t d liu hun luyn. Ha, kt qu ca quá trình hc có ng ln quá trình nh li các my, vic nâng cao cht ng ca quá trình hc là ht sc cn thi c các yêu cu ngày càng phc tp ca các ng dng thc. 2. Các đóng góp của luận án 1. BAM    2. FAM  V này   3. Fuzzy ART     u    IEEE và Springer 3. Bố cục của luận án  2 Chương 1 trình bày v bài toán mô phng quá trình ghi nh thông tin ca h th- ron sinh hu tiên, chúng tôi trình bày các hiu bin nht v -ron sinh hkin thc quan trng v lut hc ca ANN c tng hp . Chương 2 cung cp các kin th mô t u và ci tia logic m và toán hc trình bày. Tip theo, các mô hình thuc hai nhóm B nh liên kt (AM) và       (ART) c th hin theo th t phát trin các mô hình. Chương 3  xut mt thut toán hc mi  BAM h th nghim vi các nhim v nhn dng mu cho thy BAM ci tin nh li t  BAM khác. Chương 4 th hin hai lut hc hiu qu mi mu hun luyn và mt th tc tìm giá tr t t hc ca Fuzzy ART. Các thc nghim trên các b d liu chun cho thy Fuzzy ART vi lut hc ci tin nh li các cm tkhác. Chương 5 trình bày mt lut hc ci ti  hiu qu ng thi c ni dung và s liên kt gia các cp mu. Các th nghim vi nhim v nhn dng các ch s và các nh t  d liu nh ca hãng Corel cho thy FAM ci tin nh li t khác. 3 CHƯƠNG 1. BÀI TOÁN MÔ PHỎNG QUÁ TRÌNH GHI NHỚ THÔNG TIN CỦA HỆ THỐNG NƠ-RON SINH HỌC 1.1 Não người và nơ-ron sinh học 1.1.1 Não người V não ci là mt tng dày cha các -ron mà bao ph hu ht b não. V não c chia thành bn "thùy". Mi thùy có các vùng v não ln gn vi mt ch th u khin chuyng, ngôn ng, Mt s vùng c m rng rt mc bit là vùng cha ngôn ng. 1.1.2 Mạng nơ-ron sinh học Mt m-ron sinh hc là mt chu-ron có kt ni bên trong mà s kích hot c-ron to thành s truyn tín hiu gi-ron. Nu tng các tín hiu vào trên m-t quá mng nh-ron gt ting  phn gò si trc và truyn các tín hin t này theo các si tr-ron khác. 1.2 Nơ-ron nhân tạo và mạng nơ-ron nhân tạo McCulloch và Pitts  xut mt mô hình tính toán cho mt -ron sinh hc. -ron nhân to tính tng trng s ca các tín hiu vào và to ra mt tín hiu ra là 1 nu tng trng s ng nhnhc li, tín hiu ra là 0. Theo toán hc,            (1.1) vu ra, w j là trng s ca tín hiu vào th j,  ng, và n là s tín hiu vào. Các -ron nhân to c tng quát hóa theo các hàm kích hot. c s dng xuyên nht có dng:        (1.2) vi  là tham s lp -ron nhân to kt ni vi nhau to thành các m-ron nhân to. 1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng nơ-ron nhân tạo Mt ANN có hai quá trình gm quá trình hc và quá trình nh li.  hc ca ANN là hc có giám sát, hc không giám sát, và lai gi hc giám sát và hc không giám sát. 4 Có bn kiu lut hc gm: lut li- error-correction), lut ca Boltzmann, lut ca Hebb, và lut hc cnh tranh. i vi lut li- mô hình hc có giám sát theo nguyên tc sau: dùng li do s chênh lnh gia tín hiu ra thc và tín hii  i trng s kt ni sao cho gim dn c li. Lut hc Boltman là mt quy tc hc tp ngu nhiên mà u chnh trng s kt n trng thái ca -ron ng mt phân phi xác sut i. Lut hc ca Hebb c phát biu: Nu t bào thn kinh  hai khp thn kinh c kích hot ng thi và liên tc thì s liên kt ca hai khp thn kinh s c t hc cnh tranh ch cho phép m-c kích hot cung cp tín hiu ra  mt thi m. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT 2.1 Logic mờ 2.1.1 Định nghĩa Cho X là tp khác rng. Mt tp m A trên X ng mt hàm thucviên    vi µ A (x) th hin m thành viên ca phn t x vào tp m A i vi mi x X. 2.1.2 Các phép toán với tập mờ Cho A, B là hai tp m trên X. Vi mi x X, Phép giao ca hai t                 (2.1) Phép hp ca hai t                 (2.2) Phép bù mt tp m          (2.3) Phép ni m ca A, B là mt ánh x:          (2.4) tha mãn C(0, 0) = C(0, 1) = C(1, 0) = 0 và C(1, 1) = 1. Mt kt ni m          (2.5) tha mãn T(x, 1) = x vi x  c gi là triangular norm hay t-norm. 5 Mt phân tách m là mt ánh x          (2.9) tha mãn D(0, 0) = 0 và D(0, 1) = D(1, 0) = D(1, 1) = 1. Mt phân tách m          (2.10) tha mãn S(1, x) = x vi x  c gi là triangular co-norm hay short s-norm. Mt thao tác          (2.14) c gi là gi ý m nu I m rng suy ding [0, 1] x [0, 1] vi I(0, 0) = I(0, 1) = I(1, 1) = 1 và I(1, 0) = 0. 2.2 Toán học hình thái 2.2.1 Lưới đầy đủ  là mt tp có th t, tng phn L i tp con có mt chn trên và chi trong L. Lp các tp m k tha c ca chu k [0, 1]. 2.2.2 Các thao tác cơ bản của hình thái toán học Phép co rút là mt ánh x  t m n m M tha mãn công thc sau:            (2.18) Phép giãn n : L M tha mãn công thc sau:         (2.19) 2.3 Mô hình AM 2.3.1 Khái niệm về AM AM là mt cu trúc ni dung-a ch mà ánh x các mu d liu vào sang các mu d liu ra. Mt cu trúc ni dung-a ch là mt dng b nh mà cho phép nh li d liu da vào m  gia mu d liu vào và các m nh. 2.3.2 Hoạt động của AM AM hong  hai dng gm t liên kt và liên kt khác loi. B nh  dng t liên kt mng nht vi mu vào hin ti.  dng liên kt khác loi, 6 mu vào v ni dung, kinh dó liên quan vi m AM có hai quá trình là  2.3.2 Một số đặc điểm của AM -  -  -  2.4 Mô hình BAM 2.4.1 Khái niệm về BAM BAM là mt dng ANN n hình th hin cu trúc b nh liên kt vi kh  li theo c ng. BAM là ANN .   Hình 2.1: Cấu trúc tổng quát của mô hình BAM 2.4.2 Quá trình học của BAM Quá trình này   W k (A k ,B k )         (2.20) A k m B k n  Tp        (2.21) v là mt hng s. 7 2.4.3 Quá trình nhớ lại của BAM Cho mt mu vào X,  d liu vào ca m-ron theo công thc sau:           (2.22) vi m là s chiu ca X, Input j là tng trng s ca các d liu vào c-ron j, X i là thành phn th i ca mu d liu vào X. nh d li-ron bu ra:                 (2.23) v j ng c-ron j. Lp lc cp (X f ,Y f ng thái BAM hi t và Y f chính là mu ra ca BAM ng vi mu vào X. 2.4.4 Hàm năng lượng của BAM H        (2.24) 2.4.5 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu Y.F.  dùng s ln lp ti thi hc mt cp mu (MNTP). , W k           (2.25) vi q k là s  hin s ln ít nht dùng (A k , B k ) cho vic hm bo nh li c (A k , B k ). 2.5 Bộ nhớ liên kết mờ 2.5.1 Giới thiệu chung (A k , B k )G mà G(A k )=B k  G  G G          A k và B k      k=1, ,p. 8 2.5.2 Các FAM của Kosko và sự tổng quát hóa u tiên gm max-min FAM và max-product FAM nên   tng quát hóa FAM thành FAM tng quát. p mu. Cho             và             Mô hình t-ron max-C nên có th dùng mt phép ni m  C M , C P , C L . Quá trình hc thc hin  sau:            ọ (2.33) Cho mu vào x, mc nh li t mc tính bng:             (2.34) 2.6 Mô hình ART 2.6.1 Cấu trúc của ART Cu trúc chung ca mc th hin trong Hình 2.4. Hình 2.2: Cấu trúc của một ART đơn giản Mt mn hình có hai tng: tng d liu vào (F1) và tng d liu ra (F2). ng ca mu khin bi hai h thng con: h thng chú ý và h thnh ng. 2.6.2 Một số mô hình cải tiến từ ART H c phát trin t  gii quyt tc bao gm ART 1, ART 2, ART 3, ARTMAP, Fuzzy ART, Fuzzy ARTMAP. [...]... sẽ bị mất mát trong quá trình học do các FAM chuẩn chỉ lưu trữ tốt nội dung các mẫu hoặc chỉ lưu trữ tốt liên kết giữa các mẫu Thông tin bị mất mát trong quá trình học có thể dẫn tới khả năng nhớ lại bị hạn chế 5.4 Luật học cải tiến của FAM 5.4.1 Mô hình FAM với luật học cải tiến Thiết kế của mô hình FAM với luật học cải tiến được trình bày như sau: Quá trình học các cặp mẫu Việc học và lưu trữ p cặp... thay đổi trong mỗi lần lặp của quá trình học; và năng lượng của mỗi trạng thái ứng với mỗi cặp mẫu tiến đến 0 Vì vậy, BAM cải tiến sẽ có hai ưu điểm gồm (i) quá trình học các cặp mẫu thực hiện nhanh và linh hoạt hơn và (ii) có khả năng lưu và nhớ lại các cặp mẫu không trực giao 3.5 Kết quả thực nghiệm Các thử nghiệm được làm với ứng dụng nhận dạng mẫu Các BAM được dùng gồm BAM của Y.F.Wang (WBAM), Zhuang... các cặp mẫu khác trong vùng B Mô hình của T Wang và Zhuang Luật học của mô hình được thể hiện bởi công thức sau: (3.3) với số gia trọng số ∆Wij được tính bới công thức sau: (3.4) 10 với S(x)=0 nếu x>0 và S(x)=1 nếu x≤0 Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định Mô hình của Zhuang, Huang, và Chen Ban đầu, là bất kỳ Khi t>0 thì luật học của nơ-ron i ở vùng A được thể... luật học hiệu quả của Fuzzy ART mà học tốt hơn mọi mẫu huấn luyện, đồng thời giảm sự ảnh hưởng của các mẫu huấn luyện dị thường đối với kết quả của quá trình học Các tập dữ liệu chuẩn được chọn từ cơ sở dữ liệu UCI và Shape được dùng để đánh giá khả năng nhớ lại các cụm của Fuzzy ART cải tiến Với luật học cải tiến thứ nhất, 9 tập dữ liệu về các loài hoa lan, chất lương rượu vang, các dạng vỡ của kính... quả của các kiểm tra con của bảy thử nghiệm cho thấy khả năng của phân cụm của Fuzzy ART với luật học thứ hai cải thiện đáng kể đối với các tập dữ liệu nhỏ có độ phức tạp cao Đặc biệt, kết quả phân cụm là cao khi tậpdữ liệu có chứa nhiều mẫu CHƯƠNG 5 LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT MỜ 5.1 Giới thiệu chung FAM là AM mà học và nhớ lại với các mẫu được biểu diễn ở dạng tập mờ FAM có ưu điểm là nhớ. .. j = 1,…, n Luật học của của nơ-ron j ở vùng B được thể hiện bởi công thức sau: (3.8) với i = 1,…, m Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định 3.3 Lý do đề xuất thuật toán học mới Từ việc tổng hợp các nghiên cứu về BAM, tác giả nhận thấy mô hình BAM học nhiều lần sẽ phát huy tốt ưu điểm về phục hồi từ mẫu vào nhiễu Tuy nhiên, cần phải giảm thời gian học các mẫu mà vẫn... hiện diện của cả hai loại nhiễu co rút và giãn nở Bảng 5.4: Kết quả thử nghiệm của bộ nhớ liên kết khác loại với tập dữ liệu của Corel Junbo Lỗi Kosko Xiao IFAM ACAM 0.795 1.018 0.702 0.624 0.548 22 KẾT LUẬN Với mong muốn được hiểu biết sâu hơn về quá trình học của ANN để cải thiện chất lượng thông tin ra của các ANN, luận án đã hoàn thành và đạt được các kết quả sau: Đề xuất một thuật toán học mới cho... ART gốc với luật học có dạng: (4.1) với là phép AND của logic mờ Hầu hết các nghiên cứu khác cũng dùng luật học như công thức (4.1) Ngoài ra, các nghiên cứu này cũng thay đổi hàm đầu ra hay học bổ sung thêm quan hệ giữa các cụm Kenaya và đồng nghiệp đưa ra Euclidean ART để học với luật học như sau: (4.2) với Xjk là mẫu thứ k trong cụm j và L là số các cụm Yousuf và Murphey dùng luật học cải tiến sau... theo cả hai chiều BAM có các ưu điểm gồm nhớ lại một mẫu đã lưu từ một dữ liệu vào có chứa nhiễu hoặc không đầy đủ và hội tụ không điều kiện trong chế độ đồng bộ 3.2 Quá trình học của một số BAM với chiến lược học nhiều lần Mô hình của Y.F Wang, Cruz, và Mulligan Luật học được thể hiện bởi công thức sau: (3.1) với qi thể hiện số lần huấn luyện cặp (Ai, Bi) Để BAM nhớ lại đúng các cặp mẫu đã lưu, qi cần... ứng với mỗi giá trị của tham số tốc độ học 15 Nội dung thuật toán gồm các bước sau: Bước 1: Khởi tạo tham số tốc độ học dựa vào kích thước của tập dữ liệu để giảm thời gian tìm giá trị của tham số Sau đó, tính kết quả phân cụm của tập mẫu con Bước 2: Làm các bước sau: Bước 2.1: Tăng hoặc giảm giá trị của tham tốc độ số học theo các bước nhảy nhỏ như 5% giá trị của tham tốc độ số học hiện tại Bước 2.2: . tr-ron khác. 1.2 N -ron nh n t o và mạng n -ron nh n t o McCulloch và Pitts  xu t m t mô hình t nh to n cho m t -ron sinh hc. -ron nh n t o t nh t ng trng s ca các t n hiu.  là tham s lp -ron nh n t o k t n i vi nhau t o thành các m-ron nh n t o. 1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng n -ron nh n t o M t ANN có hai quá trình gm. CHƯƠNG 1. BÀI TO N MÔ PHỎNG QUÁ TRÌNH GHI NHỚ THÔNG TIN CỦA HỆ THỐNG N -RON SINH HỌC 1.1 N o người và n -ron sinh học 1.1.1 N o người V n o ci là m t tng dày cha các -ron mà