nhập môn trí tuệ nhân tạo

NH P MỌN TRệ TU NHÂN T O Ch ng 1: Gi i thi u chung Biên so n: TS Ngô H u Phúc B môn: Khoa h c máy tính Mobile: 098 56 96 580 Email: ngohuuphuc76@gmail.com TTNT - H c vi n K thu t Quân s Thơng tin chung  Thơng tin v nhóm mơn h c: TT H tên giáo viên H c hƠm H cv n v công tác (B môn) Ngô H u Phúc GVC TS BM Khoa h c máy tính Tr n Nguyên Ng c GVC TS BM Khoa h c máy tính Hà Chí Trung GVC TS BM Khoa h c máy tính Tr n Cao Tr GV ThS BM Khoa h c máy tính ng  Th i gian, đ a m làm vi c: B mơn Khoa h c máy tính T ng 2, nhà A1   a ch liên h : B mơn Khoa h c máy tính, khoa Cơng ngh thông tin i n tho i, email: 069-515-329, ngohuuphuc76.mta@gmail.com TTNT - H c vi n K thu t Quân s C u trúc môn h c  Ch ng 1: Gi i thi u chung  Ch ng 2: Logic hình th c  Ch ng 3: Các ph ng pháp tìm ki m mù  Ch ng 4: Các ph ng pháp tìm ki m có s d ng thông tin  Ch ng 5: Các chi n l  Ch ng 6: Các toán th a r ng bu c  Ch ng 7: Nh p môn h c máy TTNT - H c vi n K thu t Quân s c tìm ki m có đ i th BƠi 1: Gi i thi u chung (1/2) Ch ng 1, m c: 1.1 – 1.9 Ti t: 1-3; Tu n th : M c đích, yêu c u: N m đ c s l c v H c ph n, sách riêng c a giáo viên, đ a ch Giáo viên, b u l p tr ng H c ph n N m đ c khái ni m v Trí tu nhân t o N m đ c l nh v c có liên quan đ n Trí tu nhân t o N m đ c nh ng v n đ c t lõi c a Trí tu nhân t o Hình th c t ch c d y h c: Lý thuy t Th i gian: ti t a m: Gi ng đ ng Phịng t o phân cơng N i dung chính: (Slides) TTNT - H c vi n K thu t Quân s BƠi 1: Gi i thi u chung (2/2) Gi i thi u thơng tin liên quan đ n khố h c Yêu c u c a khoá h c Khái ni m v Trí tu nhân t o Các l nh v c liên quan đ n trí tu nhân t o L ch s hình thành khoa h c v trí tu nhân t o Các l nh v c ng d ng c a trí tu nhân t o So sánh gi a l p trình h th ng l p trình AI Nh ng v n đ ch a đ Nh ng v n đ c t lõi c a trí tu nhân t o TTNT - H c vi n K thu t Quân s c gi i quy t TƠi li u tham kh o TƠi li u mơn h c: • Artificial Intelligence: A Modern Approach, S.J Russell and P Norvig, 2nd Edition, Prentice-Hall, 2003 • Essentials of Artificial Intelligence , M.Ginsberg, Morgan Kaufmann, 1993 • Trí tu nhơn t o: Các ph ng pháp gi quy t v n đ vƠ k thu t x lý tri th c, Nguy n Thanh Th y • Trí tu nhơn t o, Trung Tu n M t s website: • http://www.cs.adfa.edu.au/~z3013620/we/course.htm • http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6034Spring-2005/CourseHome/index.htm TTNT - H c vi n K thu t Quân s Gi i thi u chung v khóa h c I Gi i thi u chung v TTNT II Logic hình th c III Các ph IV Các gi i thu t tìm ki m có kinh nghi m V Ki m tra gi a k VI Các gi i thu t tìm ki m có đ i th ng pháp tìm ki m mù VII Các toán th a r ng bu c VIII Nh p môn máy h c IX M ts ng d ng th c t TTNT - H c vi n K thu t Quân s Yêu c u c a khóa h c  Th c hi n h ng d n c a H c vi n v đánh giá  N m ch c n i dung lý thuy t áp d ng t p c th  H c viên ph i h c đ y đ  H c viên tham gia ki m tra gi a k  Bài thi h t môn g m 02 ph n: • Ph n lý thuy t • Ph n t p (đ c giao vào tu n th c a môn h c) TTNT - H c vi n K thu t Quân s Khái ni m v Trí tu nhơn t o (1/) Hi n nay, th gi i có nhi u đ nh ngh a khác  v trí tu nhân t o Tuy nhiên, v n ch a th ng nh t m t d ng đ nh ngh a M c dù v y, có tr   Strong AI: Có th t o thi t b có trí thơng minh ch  ng phái v khái ni m AI: ng trình máy tính thơng minh h n ng Weak AI: Ch ng trình máy tính có th mơ ph ng hành vi thông minh c a ng i!!! TTNT - H c vi n K thu t Quân s i!!! Khái ni m v Trí tu nhơn t o (2/) Có quan m v AI: Suy ngh nh ng i Hành đ ng nh ng i Suy ngh có lý trí Hành đ ng có lý trí Tài li u t p trung vào nhóm quan m “hành đ ng có lý trí” 10 TTNT - H c vi n K thu t Quân s Lan Truy n Xuôi a = p =  –0.27   – 0.75  – 0.48 a = f W a + b  = l ogsig   = logsi g  +  –0.41 – 0.13   – 0.54  1 1 -0.75 + e a = = 0.32 1 0.36 -0.54 1+ e 2 2 a = f W a + b  = purelin ( 0.09 – 0.17 0.32 + 0.48 ) = 0.44 0.36 77 Ch       e = t – a =  + sin  - p   – a =  + sin -   – 0.44 = 1.26 4   máy h c    ng 7: Nh p môn o hƠm hƠm chuy n –n 1 e d  fÝn  = - = =  – -  - = 1 – a  a  –n   – n  d n 1 + e –n  –n +e +e 1 + e  d fÝn  = n = dn 78 Ch ng 7: Nh p môn máy h c Lan Truy n Ng c 2 2 s = –2FÝ(n ) t – a  = –2 fÝ n2   1.26 1 = –2  1.26 1 = –2.52 1 T 1 s = FÝ(n ) W  s = s = 1 – 0.32 1 0.32 1 79 Ch ng 7: Nh p môn máy h c 0.09 – 2.52 1  – a  a  – 0.17 0.09 – 2.52  – 0.36 8  0.36 8 – 0.17 – 0.22 = – 0.04 95 0.23 0.42 0.09 97 s = 0.21 0  – a  a  C p nh t tr ng s  = 0.1 T 2 W 1 = W 0  – s  a  = 0.09 –0.17 – 0.1 –2.52 0.32 10.36 W  1 = 0.17 1–0.07 72 2 b  1 = b 0  – s = 0.48 – 0.1 –2.52 = 0.73 1 T W   = W   –  s a  = – 0.27 – 0.1 – 0.04 95 = – 0.26 – 0.41 0.09 97 – 0.42 1 b   = b 0  –  s = – 0.48 – 0.1 – 0.04 95 = – 0.47 80 Ch ng 7: Nh p môn máy h c – 0.13 0.09 97 – 0.14 L a ch n C u trúc m ng i g  p  = + sin  - p  4  1-3-1 Network 3 i=1 1 0 -1 -2 -1 Ch -1 2 i=4 1 0 -1 -2 81 -1 -2 i=2 -1 ng 7: Nh p môn máy h c -1 -2 i=8 -1 L a ch n c u trúc m ng 6 g  p  = + sin  p  4  3 1-2-1 1 0 -1 -2 -1 82 Ch -1 -2 -1 2 1-4-1 0 -1 ng 7: Nh p môn máy h c 1-5-1 -1 -2 1-3-1 2 -1 -2 -1 H it g p = + sinp 3 2 4 0 -1 -2 -1 H i t đ n c c tr toàn c c 83 Ch ng 7: Nh p môn máy h c -1 -2 -1 H i t đ n c c tr đ a ph ng Khái quát hoá {p 1, t 1} , { p 2, t2 } ,  , {p Q, tQ}  g  p  = + sin - p  p = –2, –1.6, –1.2,  , 1.6, 3 1-2-1 1-9-1 2 1 0 -1 -2 84 -1 Ch ng 7: Nh p môn máy h c -1 -2 -1 nh Lý Kolmogov vƠ Ph c T p H c  Bài toán s 13 c a David Hilbert "Nghi m c a đa th b c không th bi u di n b ng ch ng hàm c a hàm bi n c th đa th c sau đây: f7+xf3+yf2+zf+1=0 không th gi i đ c b ng hàm hai bi n"  Ví d v ch ng hàm hai bi n đ gi i ph b c 85 Ch ng 7: Nh p môn máy h c ng trình nh Lý Kolmogov vƠ Ph c T p H c  N m 1957, Kolmogorov (Arnold, Lorenz) ch ng minh gi thi t đ a toán c a Hilbert sai Th m chí ch ng minh k t qu m nh h n: m i hàm liên t c đ u bi u di n đ c b ng ch ng hàm m t bi n ch dùng phép toán nhân c ng  nh Lý Kolmogorov: f:[0,1]n[0,1] hàm liên t c t n t i hàm m t bi n g, hi i=1,2, ,2n+1 h ng s i cho:  f(x1,x2, ,xn)= j=1,2n+1g(i=1,n ihj(xi))  nh lý cho m ng Neural (Baron, 1993):  M ng Perceptron h ng ti n m t l p n dùng hàm chuy n sigmoid có th x p x b t c hàm kh tích L be kho ng [0,1] 86 Ch ng 7: Nh p môn máy h c nh Lý Kolmogov vƠ  M c dù v y đ nh lý ch đ a s Ph c T p H c t n t i mà không đ a đ c thu t toán cho vi c xác đ nh c u trúc m ng (s neuron t ng n) hay tr ng s  nh lý NP v h c cho m ng Neural (Judd, 1990):  Bài tốn tìm tr ng s t i u cho m ng Neural đa l p có hàm chuy n hardlims NP đ y đ  L u ý:  - thu t tốn BP khơng đ m b o tìm đ c nghi m t i u, th m chí khơng đ m b o s h i t  -Vi c xác đ nh c u trúc m ng m t s y u t c a thu t tốn h c cịn mang tính kinh nghi m, Heuristic 87 Ch ng 7: Nh p môn máy h c M t s Heuristics cho BP •  •  •  • C p nh t theo ch đ tu n t (online) hay batch (epoch): Th ng vi c h c theo ch đ tu n t giúp BP h i t nhanh h n, đ c bi t d li u l n d th a Chu n hoá giá tr đ u ra: m b o giá tr đ u n m mi n giá tr c a hàm chuy n neuron đ u t ng ng (th ng n m kho ng [a+, b- ] Chu n hoá giá tr đ u vào: m b o giá tr trung bình g n ho c nh so v i đ l ch tiêu chu n (stdev) Các giá tr t t nh t ph i đ c l p v i Kh i t o giá tr tr ng s :  Uniform random in [-, ]; [-, -][  , ] •  88 K t thúc s m: Khi liên ti p n epoch training mà khơng có s c i thiên đáng k l i hay khơng có s thay đ i đáng k c a tr ng s Ch ng 7: Nh p môn máy h c M t s Heuristics cho BP • T c đ h c:  T c đ h c c a Neuron nên đ u v y, neuron t ng sau (th có gradient l n h n t ng tr c) nên có t c đ h c nh h n t ng tr c, Neuron có input nên có t c đ h c l n h n Neuron có nhi u input • ng Ki m tra chéo (crossvalidation):  Tách t p d li u làm hai t p đ c l p (training and testing) T l th ng 2/3:1/3 Th c hi n vi c h c t p training ki m tra kh n ng khái quát hoá c a m ng t p testing • Lu t phân l p t i u:  Dùng M neuron đ u cho toán phân M l p s d ng lu t c nh tranh winner-take-all • Xác đ nh s neuron l p n:  89 Các c l ng c n thô (s l Incremental, Decremental Ch ng 7: Nh p môn máy h c ng d li u, chi u VC) Ph ng pháp: c thêm M.T Hagan, H.B Demuth, and M Beale, Neural Network Design, PWS Publishing Giáo trình, ch ng 19 MIT Courseware: ch8, ch9 90 Ch ng 7: Nh p môn máy h c Cơu H i ôn t p Trình bày c u trúc m ng Neuron Perceptron đa l p? Trình bày gi i thu t h c lan truy n ng c cho MLP Trình bày đ nh lý Kolmogorov ng d ng cho MLP Cài đ t thu t gi i BP cho MLP 91 ng d ng MLP đ gi i toán nh : Classification Regression Ch ng 7: Nh p môn máy h c