BCNCKH: Xác định quan hệ mở bằng mạng Nơron nhân tạo docx

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN  BÁO CÁO NGHIÊN CỨU KHOA HỌC Tên đề tài: XÁC ĐỊNH QUAN HỆ MỜ BẰNG MẠNG NƠRON NHÂN TẠO Giáo viên hướng dẫn : T.S Nguyễn Tân Ân Sinh viên thực hiện : Nguyễn Thị Thuý Chinh. Lớp : C-K54-CNTT. Hà Nội 4/2008 B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 2 PHẦN MỞ ĐẦU 1. Tên đề tài Xác định quan hệ mờ bằng mạng nơron nhân tạo. 2. Lý do chọn đề tài Từ 20 năm nay, lý thuyết tập mờ và mạng nơron nhân tạo đã phát triển rất nhanh và đa dạng. Công nghệ mờ và công nghệ mạng nơron đã cung cấp những công nghệ mới cho các ngành công nghiệp làm ra nhiều sản phẩm thông minh, đáp ứng nhu cầu thị trường cần có những bộ điều khiển linh hoạt hơn. Hệ mờ và mạng nơron được kết hợp với nhau để cùng phát huy những ưu điểm của chúng. Một trong những dạng kết hợp đó là mạng nơron mờ, nhờ có nó mà chúng ta đã giải quyết được rất nhiều bài toán khó mà với thuật giải thông thì không thực hiện được hoặc nếu có thì cũng rất phức tạp và mất nhiều thời gian. Với bài toán xác định quan hệ giữa không gian vào và không gian ra dựa trên các cặp phần tử vào ra đã biết. Cụ thể cho không gian vào X , không gian ra Y và các cặp phần tử vào ra ( ) , x y đã biết , tức là cho một phần tử x X Î thì có một phần tử ra tương ứng y Y Î . Yêu cầu bài toán đặt ra là xác định quan hệ R giữa X và Y . Một trong những phương pháp thường được sử dụng để giải quyết bài toán trên đó là phương pháp bình phương bé nhất. Để giảm độ phức tạp và thời gian tính toán trong báo cào này tôi sử dụng một phương pháp mới đó là dùng mạng nơron nhân tạo. Và quan hệ giữa không gian vào và ra xác định được không phải là quan hệ bình thường mà là quan hệ mờ. Bài nghiên cứu gồm những phần sau: I. Tổng quan lý thuyết tập mờ và quan hệ mờ Giới thiệu về khái niệm tập mờ, các phép toán trên tập mờ, quan hệ mờ. II. Giới thiệu về mạng nơron nhân tạo. Giới thiệu cấu trúc của một nơron, định nghĩa và phân loại mạng nơron, các thủ học mạng nơron, thuật toán lan truyền ngược. Báo cáo nghiên cứu khoa học Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 3 III. Bi toỏn xỏc nh quan h m bng mng nron nhõn to nh x bi toỏn xỏc nh quan h m lờn mng nron nhõn to, a ra cỏch hun luyn mng. Cui cựng l demo thut toỏn xỏc nh quan h m bng mng nron nhõn to. I. Tng quan lý thuyt tp m v quan h m 1.1 Khỏi nim tp m Tp m c xem l s m rng trc tip ca tp kinh in. Bõy gi ta xột khỏi nim hm thuc ca tp kinh in. nh ngha 1.1 Cho mt tp hp A . nh x { } : 0,1 Um đ c nh ngha nh sau: ( ) 1 nếu 0 nếu A x A x x A m ỡ ẻ ù ù = ớ ù ẽ ù ợ (1.1) c gi l hm thuc ca tp A . Tp A l tp kinh in, U l khụng gian nn. Nh vy hm thuc ca tp c in ch nhn hai giỏ tr l 0 hoc 1. Giỏ tr 1 ca hm thuc ( ) A x m cũn c gi l giỏ tr ỳng, ngc li 0 l giỏ tr sai ca ( ) A x m . Mt tp U luụn cú ( ) 1 U xm = , vi mi x c gi l khụng gian nn (tp nn). Mt tp A cú dng { } thoả mãn một số tính chất nào đó A x U x= ẻ thỡ c gi l cú tp nn U , hay c nh ngha trờn tp nn U . Vớ d tp { } 9 12 A x x= ẻ < <Ơ cú tp nn l tp cỏc s t nhiờn Ơ . B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 4 Hàm thuộc ( ) A x m định nghĩa trên tập A , trong khái niệm kinh điển chỉ có hai giá trị là 1 nếu x A Î hoặc 0 nếu x A Ï . Hình 1.1 mô tả hàm thuộc của hàm ( ) A x m , trong đó tập A được định nghĩa như sau: { } 2 6 A x x= Î < <¡ . (1.2) Hình 1.1. Hàm thuộc ( ) A x m của tập kinh điển A . Cách biểu diễn hàm phụ thuộc như vậy không phù hợp với những tập được mô tả “mờ” như tập B gồm các số thực dương nhỏ hơn nhiều so với 6 { } 6 B x x= Î ¡ = , (1.3) có tập nền là ¡ , hoặc tập C gồm các số thực gần bằng 3 cũng có tập nền ¡ { } 3 C x x = Î » ¡ (1.4) Tập B , C như vậy được gọi là các tập mờ. Lý do là với những định nghĩa “mờ” như vậy chưa đủ để xác định được một số chẳng hạn như 4,5 x = có thuộc B hoặc 2,5 x = có thuộc C hay không. Nên chúng ta không thể dùng hàm thuộc của tập cổ điển chỉ có hai giá trị 1 và 0 để định nghĩa tập B và C trong trường hợp này. Vì vậy người ta nghĩ rằng: tại sao lại không mở rộng miền giá trị cho hàm thuộc của tập cổ điển, tức là hàm thuộc sẽ có nhiều hơn hai giá trị. Khi đó thay vì việc trả lời câu hỏi 4,5 x = có thuộc B hay không, ngưòi ta sẽ trả lời câu hỏi là: vậy thì 4,5 x = thuộc B bao nhiêu phần trăm? Giả sử rằng có 2 x 6 0 )(x A  1 B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 5 câu trả lời thì lúc này hàm thuộc ( ) B x m tại điểm 4,5 x = phải có một giá trị trong đoạn [ ] 0,1 , tức là ( ) 0 1 B xm £ £ (1.5) Nói cách khác hàm ( ) B x m không còn là hàm hai giá trị như đối với tập kinh điển nữa mà là một ánh xạ (hình 1.2) [ ] : 0,1 B Um ® , (1.6) trong đó U là tập nền của tập “mờ”. Hình 1.2 a, Hàm phụ thuộc của tập “mờ” B b, Hàm phụ thuộc của tập “mờ” C Định nghĩa 1.2 Tập mờ F xác định trên tập kinh điển U là một tập mà mỗi phần tử của nó là một cặp các giá trị ( ) ( ) , F x x m trong đó x U Î và F m là một ánh xạ [ ] : 0,1 F Um ® . (1.7) Ánh xạ F m được gọi là hàm thuộc (hàm phụ thuộc hay hàm thành viên ) của tập mờ F . Tập kinh điển U được gọi là tập nền (hay tập vũ trụ) của tập mờ F . Ví dụ một tập mờ F của các số tự nhiên nhỏ hơn 6 với hàm phụ thuộc ( ) F x m có dạng như hình 1.2a định nghĩa trên nền U sẽ chứa các phần tử sau B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 6 ( )( )( )( ) { } 1, 1 , 2, 1 , 3, 0,8 , 4, 0,07 F = . Số tự nhiên 1 và 2 có độ phụ thuộc ( ) ( ) 1 2 1 F F m m = = , các số tự nhiên 3 và 4 có độ phụ thuộc nhỏ hơn 1 ( ) 3 0,8 F m = và ( ) 4 0,07 F m = , Những số tự nhiên không được liệt kê đều có độ phụ thuộc bằng 0. 1.2 Các phép toán về tập mờ Giống như định nghĩa về tập mờ các phép toán trên tập mờ cũng sẽ được định nghĩa thông qua các hàm thuộc. Nói cách khác, khái niệm xây dựng những phép toán trên tập mờ là việc xác định các hàm thuộc cho phép hợp, giao , bù từ những tập mờ. Một nguyên tắc cơ bản trong việc xây dựng các phép toán trên tập mờ là không được mâu thuẫn với những phép toán đã có trong lý thuyết tập hợp kinh điển. 1.2.1 Phép hợp Cho hai tập hợp mờ A và B có cùng không gian nền U với hai hàm thuộc tương ứng là ( ) A x m và ( ) B x m . Hợp của A và B là một tập mờ cũng xác định trên U , kí hiệu là A B È có hàm thuộc ( ) A B x m È thoả mãn: i. ( ) A B x m È chỉ phụ thuộc vào ( ) A x m và ( ) B x m . ii. ( ) 0 B xm = với x " Þ ( ) A B x m È = ( ) A x m . iii. Tính giao hoán, tức là ( ) ( ) A B B A x x m m È È = . iv. Tính kết hợp, tức là ( ) ( ) ( ) ( )A B C A B C x x m m È È È È = . v. Là hàm không giảm: ( ) ( ) 1 2 A A x x m m£ Þ ( ) ( ) 1 2 A B A B x x m m È È £ . Để tính hàm thuộc ( ) A B x m È có nhiều cách khác nhau, sau đây là một công thức được dùng trong báo cáo này: ( ) ( ) ( ) { } max , A B A B x x x m m m È = (Luật lấy max) (1.8) B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 7 Hình 1.3. Hàm thuộc của hai tập mờ có cùng không gian nền a) Hàm thuộc của hai tập mờ A và B b) Hợp của hai tập mờ A và B theo luật max. Một cách tổng quát thì bất cứ một ánh xạ dạng ( ) [ ] : 0,1 A B x Um È ® nếu thoả mãn 5 tiêu chuẩn đã nêu trong định nghĩa hợp hai tập mờ đều được xem như là hợp của hai tập mờ A và B có chung một không gian nền U . Công thức trên cũng được mở rộng để áp dụng cho việc xác định hợp của hai tập mờ không cùng không gian nền, bằng cách đưa cả hai tập mờ về chung một không gian nền là tích của hai tập nền đã cho. Ví dụ cho tập mờ A xác định trên không gian nền M và tập mờ B xác định trên không gian nền N . Do hai tập nền M và N độc lập với nhau nên hàm thuộc ( ) A x m , x M Î của tập mờ A sẽ không phụ thuộc vào N và ngược lại ( ) B x m , y N Î của tập B cũng sẽ không phụ thuộc vào M . Điều đó thể hiện ở chỗ trên không gian nền mới là tập tích M N ´ hàm ( ) A x m phải là một mặt “cong” dọc theo trục y và ( ) B x m là một mặt “cong” dọc theo trục x (hình 1.4). Tập mờ A như vậy được định nghĩa trên hai không gian nền M và x  ( ) A x  x a)  ( ) B x  x b)  ( ) A x  ( ) B x  B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 8 M N ´ . Để phân biệt được chúng, sau đây kí hiệu A sẽ được dùng để chỉ tập mờ A trên không gian nền M N ´ . Đối với các tập mờ khác cũng được kí hiệu tương tự. Với kí hiệu đó thì ( ) ( ) , A A x y x m m= với mọi y N Î và ( ) ( ) , B B x y x m m= với mọi x M Î . a. Hình 1.4. Phép hợp hai tập mờ không cùng nền a. Hàm thuộc của hai tập mờ A và B b. Đưa hai tập mờ về chung một nền M N ´ c. Hợp hai tập mờ trên nền M N ´ ( ) A x   x ( ) B x   y x ( , ) A x y   y M×N b. ( , ) B x y   M×N x y M×N x ( , ) A B x y     y c. B¸o c¸o nghiªn cøu khoa häc Sinh viªn: NguyÔn ThÞ Thuý Chinh – K54C - CNTT 9 Sau khi đã đưa được hai tập mờ A và B về chung một không gian nền là M N ´ thành A và B thì hàm thuộc ( ) , A B x y m È của tập mờ A B È được xác định theo công thức (1.8). Hợp hai tập mờ theo luật max Cho tập mờ A xác định trên không gian nền M và tập mờ B xác định trên không gian nền N , có hàm thuộc lần lượt là ( ) A x m , ( ) B x m . Hợp của hai tập mờ A và B theo luật max là một tập mờ xác định trên không gian nền M N ´ với hàm thuộc ( ) ( ) ( ) { } , max , , , A B A B x y x y x y m m m È = . (1.9) trong đó ( ) ( ) , A A x y x m m= với mọi y N Î và ( ) ( ) , B B x y x m m= với mọi x M Î . Một cách tổng quát, do hàm thuộc ( ) , A B x y m È của hợp hai tập mờ A , B không cùng không gian nền chỉ phụ thuộc vào ( ) [ ] 0,1 A xm Î và ( ) [ ] 0,1 B xm Î nên ta có thể xem ( ) , A B x y m È là hàm của hai biến A m , B m được định nghĩa như sau ( ) ( ) [ ] [ ] 2 , , : 0,1 0,1 A B A B x ym m m m È = ® (1.10) Ta đi đến định nghĩa về hàm thuộc ( ) , A B m m m của hợp hai tập mờ không cùng không gian nền: Định nghĩa 1.3 Hàm thuộc của hợp giữa hai tập mờ A với ( ) A x m định nghĩa trên không gian nền M và B với ( ) B x m định nghĩa trên không gian nền N là một hàm hai biến ( ) [ ] [ ] 2 , : 0,1 0,1 A B m m m ® xác định trên nền M N ´ thoả mãn: a) 0 B m = Þ ( ) , A B A m m m m = . Báo cáo nghiên cứu khoa học Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 10 b) ( ) ( ) , , A B B A m m m m m m = , tc l cú tớnh giao hoỏn. c) ( ) ( ) ( ) ( ) , , , , A B C A B C m m m m m m m m m m = , tc l cú tớnh kt hp. d) ( ) ( ) , , , , A B C D A C B D m m m m m m m m m m Ê " Ê Ê , tc l cú tớnh khụng gim. Mt hm hai bin ( ) [ ] [ ] 2 , : 0,1 0,1 A B m m m đ tho món cỏc iu kin ca nh ngha trờn cũn c gi l hm t-i chun (t-conorm). 1.2.2 Phộp giao Cho hai tp hp m A v B cú cựng khụng gian nn U vi hai hm thuc tng ng l ( ) A x m v ( ) B x m . Giao ca A v B l mt tp m cng xỏc nh trờn U , kớ hiu l A B I cú hm thuc ( ) A B x m I tho món: i. ( ) A B x m I ch ph thuc vo ( ) A x m v ( ) B x m . ii. ( ) 1 B xm = vi x " ị ( ) A B x m I = ( ) A x m . iii. Tớnh giao hoỏn, tc l ( ) ( ) A B B A x x m m= I I . iv. Tớnh kt hp, tc l ( ) ( ) ( ) ( )A B C A B C x x m m= I I I I . v. Nu 1 2 A A thỡ 1 2 A B A B ầ ầ hay ( ) A B x m ẩ cú tớnh cht khụng gim, tc l ( ) ( ) 1 2 A A x x m mÊ ị ( ) ( ) 1 2 A B A B x x m m ầ ầ Ê . Tng t nh ó trỡnh by v phộp hp hai tp m, cú nhiu cụng thc khỏc nhau tớnh hm thuc ( ) A B x m I ca giao hai tp m v bt c mt ỏnh x ( ) [ ] : 0,1 A B x Um đ I no tho món 5 tiờu chun ó nờu trong nh ngha trờn u c xem nh l hm thuc ca giao hai tp m A v B cú chung mt khụng gian nn U . Sau õy l mt trong nhng cụng thc tớnh hm thuc ( ) A B x m I ca phộp giao gm: [...]... m rng: Khai thỏc cỏc phộp toỏn t-chun, t-i chun III Bi toỏn xỏc nh quan h m bng mng nron nhõn to 3.1 Bi toỏn Cho khụng gian vo X khụng gian ra Y Yờu cu t ra l xỏc nh quan h m R gia khụng gian vo v ra Vic xỏc nh quan h m R c thc hin thụng qua vic tỡm li gii cho mt phng trỡnh quan h m bi mt mng nron m Chỳng ta s cho r s rng phng trỡnh quan h m l X R = Y , X ẻ [0,1] , Y ẻ [0,1] , Sinh viên: Nguyễn Thị... R (x, z)> q > R (z, x ) * Phng trỡnh quan h m Phng trỡnh quan h m ln u tiờn nghiờn cu bi GS.Sanchez nm 1976, úng vai trũ quan trng trong cỏc lnh vc phõn tớch cỏc h m, thit k 14 Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT Báo cáo nghiên cứu khoa học cỏc b iu khin m, quỏ trỡnh ly quyt nh v nhn dng m.Dng n gin nht cú th din t nh sau: Cho mt h m biu din di dng mt quan h m nh nguyờn R trờn khụng gian... ra tớn hiu u ra out phi nh th no hoc ỳng hay sai Mng nron phi t khỏm phỏ cỏc c im, cỏc mi quan h ang quan tõm nh: dng ũng nột, cú chun cú bỡnh thng hay khụng, cỏc h s tng quan, tớnh cõn xng, Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 25 Báo cáo nghiên cứu khoa học tớnh chy, ca cỏc mu hc v sau ú chuyn nhng quan h tỡm thy qua u ra Trong quỏ trỡnh hc, cỏc trng s ca mng s thay i th hin cỏc c tớnh... a) b) Hỡnh 1.6: Tp bự mnh A c ca tp m A a Hm thuc ca tp m A b Hm thuc ca tp m A c 1.3 Quan h m nh ngha 1.6 Cho X , Y l hai khụng gian nn R gi l mt quan h m trờn X Y nu R l mt tp m trờn X Y , tc l cú mt hm thuc mR : X Y đ [0,1], õy mR (x, y )= R (x, y ) l thuc ca (x, y) vo quan h R - Tớnh bc cu nh ngha: Quan h m R trờn X X gi l: a) Min-chuyn tip nu min {R (x , y), R (y, z)}Ê R (x, z) " x, y,... nhn c Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 33 Báo cáo nghiên cứu khoa học MC LC Phn m u.1 1 Tờn ti.1 2 Lý do chn ti1 I Tng quan lý thuyt tp m v quan h m 2 1.1 Khỏi nim tp m2 1.2 Cỏc phộp toỏn v tp m.6 1.2.1 Phộp hp 6 1.2.2 Phộp giao 10 1.2.3 Phộp bự 13 1.3 Quan h m 14 II Gii thiu v mng nron nhõn to.15 2.1 Mng nron sinh hc.15 2.2 Mng nron nhõn to17 2.2.1 Mụ hỡnh nron nhõn to 17 2.2.2 nh ngha... k ( dhq = zq (1 - zq )do1wiq k + 1) Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 28 Báo cáo nghiên cứu khoa học x1 v11 w11 v21 % y v12 x2 v22 w12 Hỡnh 2.12 Minh ho cho vớ d 2.5 Mng nron m S kt hp trc quan u tiờn l trc tip suy rng mng nron bng cỏch a cỏc khỏi nim m c bit l tp m v s m vo mng nron v xem xột xem nhng bi toỏn no, thut toỏn no cũn ỳng Tỏc ng ca lp thut toỏn mi ra sao? Hon ton t nhiờn ngi... v cỏch m cỏc lp c liờn kt vi nhau) v cỏc trng s ca cỏc liờn kt bờn trong mng Da vo iu ny, ngi ta phõn cỏc thut toỏn hc ca mng nron thnh hai nhúm chớnh: hc cu trỳc v hc tham s 2.3.1 Hc tham s Hc tham s quan tõm n chin lc hiu chnh cỏc trng s ca cỏc nron trong mng Gi s cú n nron, mi nron cú m trng s Chỳng ta cú th kt hp c li to thnh ma trn dng sau: Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 23 Báo cáo... Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 32 Báo cáo nghiên cứu khoa học 3.5 Xõy dng chng trỡnh ng dng S dng ngụn ng C# xõy dng mt chng trỡnh minh ho cho thut toỏn ó trỡnh by gii bi toỏn xỏc nh quan h m bng mng nron nhõn to KT LUN - B nóo ca con ngi l mt b mỏy k thut diu kỡ Cỏc nh khoa hc ó xõy dng mt mụ hỡnh tớnh toỏn mụ phng hot ng ca b nóo ngi nh: kh nng hc rt cao, kh nng dung th li - S dng... cha cú tri thc, cú th gii quyt mt bi toỏn c th no ú thỡ phi cho mng nron hc Mng nron hc thụng qua quỏ trỡnh hun luyn mng bng mt tp d liu (training data) Tin trỡnh iu chnh cỏc trng s mng nhn bit c mi quan h gia u vo v ớch mong mun c gi l hc (learning) hay hun luyn (training) Rt nhiu thut toỏn hc ó c phỏt minh tỡm ra tp trng s ti u lm gii phỏp cho bi toỏn Cỏc nhõn t quyt nh ti kh nng ca mt mng nron... nron nhõn to 17 2.2.2 nh ngha v phõn loi mng nron nhõn to 20 2.3 Th tc hc ca mng nron nhõn to 23 2.3.1 Hc tham s 23 2.3.2 Hc cu trỳc 26 2.4 Thut toỏn lan truyn ngc.26 2.5 Mng nron m.29 III Bi toỏn xỏc nh quan h m bng mng nron nhõn to 29 3.1 Bi toỏn 29 3.2 Tụpụ mng 30 3.3 Th tc hc v thut toỏn hun luyn mng31 3.4 Vớ d34 Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 34 Báo cáo nghiên cứu khoa học 3.5 Xõy . chính là mô hình mạng nơron nhân tạo. 2.2. Mạng nơron nhân tạo 2.2.1 Mô hình nơron nhân tạo Một nơron nhân tạo phản ánh các tính chất cơ bản của nơron sinh học. Mỗi nơron nhân tạo là một đơn. K54C - CNTT 2 PHẦN MỞ ĐẦU 1. Tên đề tài Xác định quan hệ mờ bằng mạng nơron nhân tạo. 2. Lý do chọn đề tài Từ 20 năm nay, lý thuyết tập mờ và mạng nơron nhân tạo đã phát triển rất nhanh. đó là dùng mạng nơron nhân tạo. Và quan hệ giữa không gian vào và ra xác định được không phải là quan hệ bình thường mà là quan hệ mờ. Bài nghiên cứu gồm những phần sau: I. Tổng quan lý thuyết