Tài Liệu Học Cơ Bản Về Trí Tuệ Nhân Tạo Các Bài Hướng Dẫn Nâng Cao Các Bài Giảng Chi Tiết Tài Liệu Học Cơ Bản Về Trí Tuệ Nhân Tạo Các Bài Hướng Dẫn Nâng Cao Các Bài Giảng Chi Tiết Tài Liệu Học Cơ Bản Về Trí Tuệ Nhân Tạo Các Bài Hướng Dẫn Nâng Cao Các Bài Giảng Chi Tiết
NH P MỌN TRệ TU NHÂN T O Ch ng 1: Gi i thi u chung Biên so n: TS Ngô H u Phúc B môn: Khoa h c máy tính Mobile: 098 56 96 580 Email: ngohuuphuc76@gmail.com TTNT - H c vi n K thu t Quân s Thông tin chung Thông tin v nhóm môn h c: TT H tên giáo viên H c hƠm H cv n v công tác (B môn) Ngô H u Phúc GVC TS BM Khoa h c máy tính Tr n Nguyên Ng c GVC TS BM Khoa h c máy tính Hà Chí Trung GVC TS BM Khoa h c máy tính Tr n Cao Tr GV ThS BM Khoa h c máy tính ng Th i gian, đ a m làm vi c: B môn Khoa h c máy tính T ng 2, nhà A1 a ch liên h : B môn Khoa h c máy tính, khoa Công ngh thông tin i n tho i, email: 069-515-329, ngohuuphuc76.mta@gmail.com TTNT - H c vi n K thu t Quân s C u trúc môn h c Ch ng 1: Gi i thi u chung Ch ng 2: Logic hình th c Ch ng 3: Các ph ng pháp tìm ki m mù Ch ng 4: Các ph ng pháp tìm ki m có s d ng thông tin Ch ng 5: Các chi n l Ch ng 6: Các toán th a r ng bu c Ch ng 7: Nh p môn h c máy TTNT - H c vi n K thu t Quân s c tìm ki m có đ i th BƠi 1: Gi i thi u chung (1/2) Ch ng 1, m c: 1.1 – 1.9 Ti t: 1-3; Tu n th : M c đích, yêu c u: N m đ c s l c v H c ph n, sách riêng c a giáo viên, đ a ch Giáo viên, b u l p tr ng H c ph n N m đ c khái ni m v Trí tu nhân t o N m đ c l nh v c có liên quan đ n Trí tu nhân t o N m đ c nh ng v n đ c t lõi c a Trí tu nhân t o Hình th c t ch c d y h c: Lý thuy t Th i gian: ti t a m: Gi ng đ ng Phòng t o phân công N i dung chính: (Slides) TTNT - H c vi n K thu t Quân s BƠi 1: Gi i thi u chung (2/2) Gi i thi u thông tin liên quan đ n khoá h c Yêu c u c a khoá h c Khái ni m v Trí tu nhân t o Các l nh v c liên quan đ n trí tu nhân t o L ch s hình thành khoa h c v trí tu nhân t o Các l nh v c ng d ng c a trí tu nhân t o So sánh gi a l p trình h th ng l p trình AI Nh ng v n đ ch a đ Nh ng v n đ c t lõi c a trí tu nhân t o TTNT - H c vi n K thu t Quân s c gi i quy t TƠi li u tham kh o TƠi li u môn h c: • Artificial Intelligence: A Modern Approach, S.J Russell and P Norvig, 2nd Edition, Prentice-Hall, 2003 • Essentials of Artificial Intelligence , M.Ginsberg, Morgan Kaufmann, 1993 • Trí tu nhơn t o: Các ph ng pháp gi quy t v n đ vƠ k thu t x lý tri th c, Nguy n Thanh Th y • Trí tu nhơn t o, Trung Tu n M t s website: • http://www.cs.adfa.edu.au/~z3013620/we/course.htm • http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6034Spring-2005/CourseHome/index.htm TTNT - H c vi n K thu t Quân s Gi i thi u chung v khóa h c I Gi i thi u chung v TTNT II Logic hình th c III Các ph IV Các gi i thu t tìm ki m có kinh nghi m V Ki m tra gi a k VI Các gi i thu t tìm ki m có đ i th ng pháp tìm ki m mù VII Các toán th a r ng bu c VIII Nh p môn máy h c IX M ts ng d ng th c t TTNT - H c vi n K thu t Quân s Yêu c u c a khóa h c Th c hi n h ng d n c a H c vi n v đánh giá N m ch c n i dung lý thuy t áp d ng t p c th H c viên ph i h c đ y đ H c viên tham gia ki m tra gi a k Bài thi h t môn g m 02 ph n: • Ph n lý thuy t • Ph n t p (đ c giao vào tu n th c a môn h c) TTNT - H c vi n K thu t Quân s Khái ni m v Trí tu nhơn t o (1/) Hi n nay, th gi i có nhi u đ nh ngh a khác v trí tu nhân t o Tuy nhiên, v n ch a th ng nh t m t d ng đ nh ngh a M c dù v y, có tr Strong AI: Có th t o thi t b có trí thông minh ch ng phái v khái ni m AI: ng trình máy tính thông minh h n ng Weak AI: Ch ng trình máy tính có th mô ph ng hành vi thông minh c a ng i!!! TTNT - H c vi n K thu t Quân s i!!! Khái ni m v Trí tu nhơn t o (2/) Có quan m v AI: Suy ngh nh ng i Hành đ ng nh ng i Suy ngh có lý trí Hành đ ng có lý trí Tài li u t p trung vào nhóm quan m “hành đ ng có lý trí” 10 TTNT - H c vi n K thu t Quân s Lan Truy n Xuôi a = p = –0.27 – 0.75 – 0.48 a = f W a + b = l ogsig = logsi g + –0.41 – 0.13 – 0.54 1 1 -0.75 + e a = = 0.32 1 0.36 -0.54 1+ e 2 2 a = f W a + b = purelin ( 0.09 – 0.17 0.32 + 0.48 ) = 0.44 0.36 77 Ch e = t – a = + sin - p – a = + sin - – 0.44 = 1.26 4 máy h c ng 7: Nh p môn o hƠm hƠm chuy n –n 1 e d fÝn = - = = – - - = 1 – a a –n – n d n 1 + e –n –n +e +e 1 + e d fÝn = n = dn 78 Ch ng 7: Nh p môn máy h c Lan Truy n Ng c 2 2 s = –2FÝ(n ) t – a = –2 fÝ n2 1.26 1 = –2 1.26 1 = –2.52 1 T 1 s = FÝ(n ) W s = s = 1 – 0.32 1 0.32 1 79 Ch ng 7: Nh p môn máy h c 0.09 – 2.52 1 – a a – 0.17 0.09 – 2.52 – 0.36 8 0.36 8 – 0.17 – 0.22 = – 0.04 95 0.23 0.42 0.09 97 s = 0.21 0 – a a C p nh t tr ng s = 0.1 T 2 W 1 = W 0 – s a = 0.09 –0.17 – 0.1 –2.52 0.32 10.36 W 1 = 0.17 1–0.07 72 2 b 1 = b 0 – s = 0.48 – 0.1 –2.52 = 0.73 1 T W = W – s a = – 0.27 – 0.1 – 0.04 95 = – 0.26 – 0.41 0.09 97 – 0.42 1 b = b 0 – s = – 0.48 – 0.1 – 0.04 95 = – 0.47 80 Ch ng 7: Nh p môn máy h c – 0.13 0.09 97 – 0.14 L a ch n C u trúc m ng i g p = + sin - p 4 1-3-1 Network 3 i=1 1 0 -1 -2 -1 Ch -1 2 i=4 1 0 -1 -2 81 -1 -2 i=2 -1 ng 7: Nh p môn máy h c -1 -2 i=8 -1 L a ch n c u trúc m ng 6 g p = + sin p 4 3 1-2-1 1 0 -1 -2 -1 82 Ch -1 -2 -1 2 1-4-1 0 -1 ng 7: Nh p môn máy h c 1-5-1 -1 -2 1-3-1 2 -1 -2 -1 H it g p = + sinp 3 2 4 0 -1 -2 -1 H i t đ n c c tr toàn c c 83 Ch ng 7: Nh p môn máy h c -1 -2 -1 H i t đ n c c tr đ a ph ng Khái quát hoá {p 1, t 1} , { p 2, t2 } , , {p Q, tQ} g p = + sin - p p = –2, –1.6, –1.2, , 1.6, 3 1-2-1 1-9-1 2 1 0 -1 -2 84 -1 Ch ng 7: Nh p môn máy h c -1 -2 -1 nh Lý Kolmogov vƠ Ph c T p H c Bài toán s 13 c a David Hilbert "Nghi m c a đa th b c không th bi u di n b ng ch ng hàm c a hàm bi n c th đa th c sau đây: f7+xf3+yf2+zf+1=0 không th gi i đ c b ng hàm hai bi n" Ví d v ch ng hàm hai bi n đ gi i ph b c 85 Ch ng 7: Nh p môn máy h c ng trình nh Lý Kolmogov vƠ Ph c T p H c N m 1957, Kolmogorov (Arnold, Lorenz) ch ng minh gi thi t đ a toán c a Hilbert sai Th m chí ch ng minh k t qu m nh h n: m i hàm liên t c đ u bi u di n đ c b ng ch ng hàm m t bi n ch dùng phép toán nhân c ng nh Lý Kolmogorov: f:[0,1]n[0,1] hàm liên t c t n t i hàm m t bi n g, hi i=1,2, ,2n+1 h ng s i cho: f(x1,x2, ,xn)= j=1,2n+1g(i=1,n ihj(xi)) nh lý cho m ng Neural (Baron, 1993): M ng Perceptron h ng ti n m t l p n dùng hàm chuy n sigmoid có th x p x b t c hàm kh tích L be kho ng [0,1] 86 Ch ng 7: Nh p môn máy h c nh Lý Kolmogov vƠ M c dù v y đ nh lý ch đ a s Ph c T p H c t n t i mà không đ a đ c thu t toán cho vi c xác đ nh c u trúc m ng (s neuron t ng n) hay tr ng s nh lý NP v h c cho m ng Neural (Judd, 1990): Bài toán tìm tr ng s t i u cho m ng Neural đa l p có hàm chuy n hardlims NP đ y đ L u ý: - thu t toán BP không đ m b o tìm đ c nghi m t i u, th m chí không đ m b o s h i t -Vi c xác đ nh c u trúc m ng m t s y u t c a thu t toán h c mang tính kinh nghi m, Heuristic 87 Ch ng 7: Nh p môn máy h c M t s Heuristics cho BP • • • • C p nh t theo ch đ tu n t (online) hay batch (epoch): Th ng vi c h c theo ch đ tu n t giúp BP h i t nhanh h n, đ c bi t d li u l n d th a Chu n hoá giá tr đ u ra: m b o giá tr đ u n m mi n giá tr c a hàm chuy n neuron đ u t ng ng (th ng n m kho ng [a+, b- ] Chu n hoá giá tr đ u vào: m b o giá tr trung bình g n ho c nh so v i đ l ch tiêu chu n (stdev) Các giá tr t t nh t ph i đ c l p v i Kh i t o giá tr tr ng s : Uniform random in [-, ]; [-, -][ , ] • 88 K t thúc s m: Khi liên ti p n epoch training mà s c i thiên đáng k l i hay s thay đ i đáng k c a tr ng s Ch ng 7: Nh p môn máy h c M t s Heuristics cho BP • T c đ h c: T c đ h c c a Neuron nên đ u v y, neuron t ng sau (th có gradient l n h n t ng tr c) nên có t c đ h c nh h n t ng tr c, Neuron có input nên có t c đ h c l n h n Neuron có nhi u input • ng Ki m tra chéo (crossvalidation): Tách t p d li u làm hai t p đ c l p (training and testing) T l th ng 2/3:1/3 Th c hi n vi c h c t p training ki m tra kh n ng khái quát hoá c a m ng t p testing • Lu t phân l p t i u: Dùng M neuron đ u cho toán phân M l p s d ng lu t c nh tranh winner-take-all • Xác đ nh s neuron l p n: 89 Các c l ng c n thô (s l Incremental, Decremental Ch ng 7: Nh p môn máy h c ng d li u, chi u VC) Ph ng pháp: c thêm M.T Hagan, H.B Demuth, and M Beale, Neural Network Design, PWS Publishing Giáo trình, ch ng 19 MIT Courseware: ch8, ch9 90 Ch ng 7: Nh p môn máy h c Cơu H i ôn t p Trình bày c u trúc m ng Neuron Perceptron đa l p? Trình bày gi i thu t h c lan truy n ng c cho MLP Trình bày đ nh lý Kolmogorov ng d ng cho MLP Cài đ t thu t gi i BP cho MLP 91 ng d ng MLP đ gi i toán nh : Classification Regression Ch ng 7: Nh p môn máy h c ... u c a khoá h c Khái ni m v Trí tu nhân t o Các l nh v c liên quan đ n trí tu nhân t o L ch s hình thành khoa h c v trí tu nhân t o Các l nh v c ng d ng c a trí tu nhân t o So sánh gi a l p trình... b u l p tr ng H c ph n N m đ c khái ni m v Trí tu nhân t o N m đ c l nh v c có liên quan đ n Trí tu nhân t o N m đ c nh ng v n đ c t lõi c a Trí tu nhân t o Hình th c t ch c d y h c: Lý thuy... i!!! Khái ni m v Trí tu nhơn t o (2/) Có quan m v AI: Suy ngh nh ng i Hành đ ng nh ng i Suy ngh có lý trí Hành đ ng có lý trí Tài li u t p trung vào nhóm quan m “hành đ ng có lý trí 10 TTNT -