Tiểu luận công nghệ tri thức và ứng dụng THUẬT TOÁN QUINLAN

Mc lc Muẽc Luẽc Noõẽi Dung trang Li m u 5 Li cm n 6 Nhn xột ca giỏo viờn 7 Chệễng 1. Toõng quan veõỉ maựy hoẽc. I. GII THIU V MY HC . 8 1. Cỏc nh ngha 8 1.1 Th no l hc ? 8 1.2 Th no l mỏy hc ? 8 2. Phõn loi mỏy hc 8 2.1 Phõn loi thụ 8 2.1.1 Hc cú giỏm sỏt 8 2.1.2 Hc khụng giỏm sỏt 8 2.1.3 Hc bỏn giỏm sỏt 9 2.1.4 Hc tng cng 9 2.1.5 Chuyn i 9 2.1.6 Hc cỏch hc 9 2.2 Phõn loi theo hai tiờu chun cựng lỳc: cp hc & cỏch tip cn 9 2.2.1 Hc vt 9 2.2.2 Hc bng cỏch ch dn 9 2.2.3 Hc bng qui np 10 2.2.4 Hc bng tng t 10 2.2.5 Hc da theo gii thớch . 10 2.2.6 Hc da trờn tỡnh hung . 10 3. Cỏch tip cn: cú hai cỏch tip cn cho h thng hc 10 3.1 Hc t ký hiu . 10 3.2 Hc t d liu s . 10 4.Kho sỏt mt s cỏch tip cn ca mỏy hc 10 4.1 Tip cn thng kờ . 10 4.1.1 Vớ d 11 4.1.2 í tng ci t: ht sc n gin . 11 4.1.3 Nhn xột vớ d 11 4.2 Tip cn hỡnh hc 12 4.2.1 Hóy xột bi toỏn sau . 12 4.2.2 Gii quyt bi toỏn 12 4.2.3 Nhn xột bi toỏn . 13 4.3 Tip cn logic 14 CH1101098 Nguyn Ngc Lõm Ư GVHD: GS. TSKH Hong Vn Kim Trang 1 Mc lc 4.3.1 Vớ d 1 . 14 4.3.2 Nhn xột vớ d 1 . 14 4.3.3 Vớ d 2 . 15 4.3.4 Nhn xột vớ d 2 . 15 4.3.5 nh ngha cỏc mnh logic n gin . 15 4.3.6 Nhn xột . 16 4.4 Tip cn mng neural . . 17 4.5 Tip cn khai m d liu . 17 4.5.1 Ti sao cn khai m d liu ? . 17 4.5.1.1 S cn thit ca khai m d liu . 17 4.5.1.1.1 Khớa cnh thng mi 17 4.5.1.1.2 Khớa cnh khoa hc . 17 4.5.1.2 S ra i ca khai m d liu 17 4.5.1.3 S dng khai m d liu khi no 17 4.5.1.4 Lnh vc ng dng khai m d liu 17 4.5.1.4.1 Thụng tin thng mi . 17 4.5.1.4.2 Thụng tin sn xut . 18 4.5.1.4.3 Thụng tin khoa hc . 18 4.5.1.5 Khai m d liu l gỡ ? . 18 4.5.1.5.1 nh ngha 18 4.5.1.5.2 Th no l mu tim n ? 18 4.5.1.6 Qui trỡnh khỏm phỏ tri thc 18 4.5.1.7 Cỏc nhim v chớnh ca khai m d liu . 19 4.5.1.7.1 D oỏn 19 4.5.1.7.2 Mụ t 19 4.5.1.8 Cỏc k thut khai m d liu 19 4.5.1.8.1 K thut phõn lp v d oỏn 19 4.5.1.8.1.1 Phõn lp 19 4.5.1.8.1.2 D oỏn 19 4.5.1.8.2 K thut gom nhúm . 19 4.5.1.9 Thỏch thc trong quỏ trỡnh khai m d liu 19 Chệễng 2. Hoẽc baờỉng phệễng phaựp xaõy Dửẽng caõy ẹiẽnh Danh I. CY NH DANH 20 1. Cõy nh danh 20 2. Thut toỏn xõy dng cõy nh danh . 20 3. Phõn tớch bi toỏn . . 20 4. í tng 13 II. M CHI 21 1. Quan sỏt thuc tớnh mu túc . . 21 2. Dựng s hỡnh cõy mụ t phõn hoch 22 3. Nhn xột . 23 CH1101098 Nguyn Ngc Lõm Ư GVHD: GS. TSKH Hong Vn Kim Trang 2 Mc lc 4. Phng phỏp chn thuc tớnh phõn hoch . 23 III. THUT TON QUINLAN 23 IV. MINH HA THUT TON 24 1. Xột thuc tớnh mu túc . 24 2. Xột thuc tớnh chiu cao 24 3. Xột thuc tớnh cõn nng 24 4. Xột thuc tớnh dựng kem 25 5. Cõy c phõn hoch theo thuc tớnh mu túc 25 6. Phõn hoch P vng 26 6.1 Xột thuc tớnh chiu cao 26 6.2 Xột thuc tớnh cõn nng . 26 6.3 Xột thuc tớnh dựng kem . 26 V. O HN LON . 27 1. Tớnh do hn lon . 27 2. Cụng thc tớnh o hn lon . 27 3.Minh ha thut toỏn 27 3.1 Tớnh o hn lon trung bỡnh 27 3.2 Cõy c phõn hoch theo thuc tớnh mu túc . 28 VI. PHT SINH TP LUT 30 VII. TI U HểA TP LUT . 30 1. Loi b mnh tha . 30 2. p dng loi b lut tha 31 VIII. XY DNG MNH MC NH . 32 IX. THUT TON ILA (Inductive Learning Algorithm) 33 1. Thut toỏn 33 2.Minh ha thut toỏn ILA 34 3. ỏnh giỏ thut toỏn . 38 Chệễng 3. Maẽng Neural nhaõn taẽo I. TNG QUAN V MNG NEURAL NHN TO 39 1. Lch s phỏt trin ca mng neural 39 2. Cỏc ng dng thc tin ca mng neural nhõn to .39 3. Mng neural sinh hc . . 40 4. Mng neural nhõn to 40 4.1 Cu to ca mt n v thn kinh nhõn to . 41 4.2 Cỏc hm truyn thng c s dng 41 4.3 Mụ hỡnh mng neural nhõn to 41 4.3.1Mng neural mt lp . 41 4.3.2Mng neural nhiu lp 42 4.3.3Mng lan truyn ngc 43 4.3.3.1 nh ngha 43 4.3.3.2 Nguyờn tc hot ng ca mng lan truyn ngc . 43 4.3.3.2.1 Tớn hiu hm 43 CH1101098 Nguyn Ngc Lõm Ư GVHD: GS. TSKH Hong Vn Kim Trang 3 Mục lục 4.3.3.2.2 Tín hiệu lỗi ……………………………………………… ………. 43 4.3.4Mạng perceptron ……………………………………………………………… 44 4.3.4.1 Định nghĩa ……………………………………………………… …… 44 4.3.4.2 Ngun tắc hoạt động ……………………………………………… …. 44 II. THUẬT TỐN HỌC ĐƠN GIẢN TRÊN PERCEPTRON ………………………… 45 III. THUẬT TỐN LAN TRUYỀN NGƯỢC ……………………………………….……… 47 ChƯƠng 4. Cài ĐăÏt Ứng Dng minh ha 50 ChƯƠng 5. KêÙt luâÏn …………………………………………………………… 52 CH1101098 Nguyễn Ngọc Lâm ¦ GVHD: GS. TSKH Hồng Văn Kiếm Trang 4 Li m u Lễứi mễ ẹaõỉu Mỏy hc l mt lnh vc ca trớ t nhõn to liờn quan n vic phỏt trin cỏc k thut cho phộp mỏy tớnh cú th Hc. C th hn, mỏy hc l mt phng phỏp to ra cỏc chng trỡnh mỏy tớnh bng vic phõn tớch cỏc tp d liu. Mỏy hc cú liờn quan ln n lnh vc thng kờ vỡ c hai lnh vc u nguyờn cu vic phõn tớch d liu, nhng khỏc vi thng kờ, mỏy hc tp trung vo nguyờn cu s phc tp ca cỏc gii thut trong vic thc thi tớnh toỏn. Mt trong nhng nguyờn nhõn lm cho trớ tu nhõn to tr thnh mt trong nhng lnh vc mi nhn trong thi i hin nay l vic lm cho mỏy tớnh tr nờn thụng minh hn, tng cng s cng tỏc gia ngi v mỏy, t ng húa mt phn, gúp phn gii cỏc cụng vic trong lnh vc i sng xó hi. Mỏy hc cú tớnh ng dng rt cao trong cỏc ngnh khoa hc sn xut, t bit l nhng ngnh cn phõn tớch khi lng d liu khng l. Mt s ng dng thng thy nh: X lý ngụn ng t nhiờn: x lý vn bn, giao tip gia ngi v mỏy. Nhn dng: nhn dng ting núi, ch vit tay, võn tay, th giỏc mỏy. Tỡm kim. Chun oỏn y khoa: phõn tớch nh X Quang, cỏc h chuyờn gia chun oỏn t ng Sinh hc: Phõn tớch cỏc chui DNA Vt lý: phõn tớch nh thiờn vn, tỏc ng gia cỏc ht Phõn tớch th trng chớnh khoỏn Chi trũ chi v c ng ca rụ-bt Chuyờn sau õy s kho sỏt mt phn nh v ng dng ca mỏy hc, ú l vic hc bng phng phỏp xõy dng cõy nh danh. Bi toỏn c t ra t mt mu CSDL cú sn, mỏy tớnh s phõn tớch cỏc quy lut trong tp CSDL bng phng phỏp xõy dng cõy nh danh v nh ú giỳp con ngi a ra quyt nh nhanh chng v chớnh xỏc. CH1101098 Nguyn Ngc Lõm Ư GVHD: GS. TSKH Hong Vn Kim Trang 5 Lời cảm ơn LÔØi caœm Ôn Với lòng biết ơn sâu sắc nhất, em xin gửi đến quý Thầy Cô ở khoa Khoa Học Máy Tính - trường Đại Học Công Nghệ Thông Tin đã đem hết tâm huyết của mình truyền đạt vốn kiến thức quý báu cho chúng em. Em xin chân thành cảm ơn GS. TSKH. Hoàng Văn Kiếm đã truyền đạt kiến thức môn Công Nghệ Tri Thức và Ứng Dụng. Qua đó giúp em co đầy đủ kiến thức để hoàn thành bài thu hoạch này. Nhân đây em cũng xin gửi lời cảm ơn chân thành đến gia đình, bạn bè, đồng nghiệp đã động viên tin thần cho em trong suốt quá trình học tập của mình. Sau cùng, em xin kính chúc quý Thầy Cô trong khoa Khoa Học Máy Tính cùng GS. TSKH. Hoàng Văn Kiếm dồi dào sức khỏe để thực hiện sứ mệnh cao đẹp của mình là truyền đạt kiến thức cho thế hệ mai sau. Một lần nữa em xin chân thành cảm ơn ! Lời cảm ơn TP. HCM, ngày 03 tháng 06 năm 2012 Sinh viên thực hiện (ký và ghi rõ họ tên) Nguyễn Ngọc Lâm Nhận xét của giáo viên hướng dẫn NhaâÏn xeùt cuœa giaùo vieân hÖÔùng DaâÕn …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… …………………………………………………………………………………………………………… TP. HCM, ngày 03 tháng 06 năm 2012 Sinh viên thực hiện (ký và ghi rõ họ tên) Nguyễn Ngọc Lâm Chng 1. Tng quan v mỏy hc Chệễng 1. Toõng quan veõỉ maựy hoẽc I. GII THIU V MY HC 1. Cỏc nh ngha 1.1 Th no l hc? - Thut ng Hc theo ngha thụng thng l quỏ trỡnh tip thu tri thc cú chn lc t th gii bờn ngoi bit cỏch vn dng. 1.2 Th no l mỏy hc? - Mỏy tớnh hay chng trỡnh mỏy tớnh cú kh nng t hon thin t kinh nghin. - Mỏy hc cũn cú ngha l vic mụ hỡnh húa mụi trng xung quanh hay kh nng mt chng trỡnh mỏy tớnh sinh ra mt cu trỳc d liu mi khỏc vi cu trỳc hin cú. Chng hn vic tỡm ra nhng lut Ifthen t tp d liu u vo. 2. Phõn loi mỏy hc: 2.1 Phõn loi thụ 2.1.1 Hc cú giỏm sỏt - Quỏ trỡnh hc cú giỏm sỏt c tin hnh trờn mt tp d liu mu vi giỏ tr ó c phõn loi(gỏn nhón) sn. Tp d liu gm: S = {x i , c j | I = 1, , M, j = 1, , C} Trong ú: x i l vộc t n chiu C j l cỏc lp bit trc - Thut toỏn s tỡm kim trờn khụng gian gi thit gii phỏp tt nht cho ỏnh x f vi c = f(x). Kt qu tỡm c phn ỏnh c trng ca mu d liu. Cỏc thut toỏn tỡm cỏch phỏt sinh mt tp gi thit bng cỏch tỡm ra cỏc c trng v giỏ tr tng ng vi mu d liu ca mi lp. Sau ú ỏp dng cỏc tp gi thit tỡm c phõn loi cỏc mu d liu mi vo cỏc lp tng ng. - Cỏc chng trỡnh hc cú giỏm sỏt c s dng rng rói nh: Mng N-ron nhõn to, Support Vector Machine, k lỏng ging gn nht, Naive Bayes, mụ hỡnh hn hp Gauss. 2.1.2 Hc khụng giỏm sỏt - L mt phng phỏp ca ngnh mỏy hc nhm tỡm ra mt mụ hỡnh phự hp vi cỏc quan sỏt. Trong mụ hỡnh hc cú giỏm sỏt, s cỏc lp l bit trc. Ngc li trong mụ hỡnh hc khụng giỏm sỏt, mu hc cha c gỏn nhón nờn núi chung, s lp cha bit trc. Cỏc h hc loi ny cú kh nng t giỏm sỏt quỏ trỡnh hỡnh thnh v phỏt sinh ca cỏc lp. Cụng tỏc gỏn nhón c thc hin t ng mt cỏch h thng v phõn bit vi cỏc lp khỏc. - Trong hc khụng giỏm sỏt mt tp d liu u vo l mt tp cỏc bin ngu nhiờn. Sau ú h tỡm ra quy lut hỡnh thnh cỏc mu v khỏm phỏ mi quan h ca d liu. Chương 1. Tổng quan về máy học - Học không giám sát hữu ích cho việc nén dữ liệu, về cơ bản mọi thuật toán nén dữ liệu dựa vào một phân bố xác suất trên một tập đầu vào một cách tường minh hay không tường minh. 2.1.3 Học bán giám sát - Học bán giám sát sử dụng các mẫu dữ liệu chưa được gán nhãn để làm giàu cho tập huấn luyện bằng cách từ từ gán nhãn cho chúng dựa vào ước lượng từ tập mẫu đã được gán nhãn ban đầu. - Tập huấn luyện là một giải thuật được sử dụng nhiều nhất cho học bán giám sát. Trong tập huấn luyện một bộ phận lớp đầu tiên được huấn luyện với một lượng nhỏ dữ liệu được gán nhãn. Thông thường những điểm được gán nhãn với độ tin cậy cao nhất cùng với những nhãn dự đoán của nó sẽ được thêm vào tập huấn luyện. - Học bán giám sát là một giải thuật được kết hợp từ hai giải thuật: học có giám sát và học không giám sát. 2.1.4 Học tăng cường - Trong ngành khoa học máy tính, học tăng cường là một lĩnh vực con của máy học, máy tính đưa ra quyết định hành động và nhận kết quả phản hồi từ môi trường, sau đó máy tính tìm cách chỉnh sửa cách ra quyết định của mình. - Khác với học có giám sát, trong học tăng cường các hành động gần tối ưu cũng không được đánh giá đúng sai một cách tường minh. 2.1.5 Chuyển đổi - Tương tự như học có giám sát nhưng không xây dựng hàm một cách rõ ràng. Thay vào đó cố gắng đoán kết quả mới dựa vào các dữ liệu huấn luyện, kết quả huấn luyện, và dữ liệu thử nghiệm có sẵn trong quá trình huấn luyện. 2.1.6 Học cách học - Đề cập đến những giả định bổ sung mà máy học dùng để dự đoán đầu ra đúng cho các tình huống chưa từng gặp phải trước đây, là cách học dựa vào kinh nghiệm đã gặp phải trước đó. 2.2 Phân loại theo hai tiêu chuẩn cùng lúc: “cấp độ học” & “cách tiếp cận” 2.2.1 Học vẹt - Hệ tiếp nhận tập khẳng định của các quyết định đúng, nếu tạo ra một quyết định không đúng, hệ sẽ đưa ra các luật/quan hệ đúng đã sử dụng. Hình thức học vẹt nhằm cho phép chuyên gia cung cấp tri thức theo kiểu tương tác. 2.2.2 Học bằng cách chỉ dẫn - Thay vì đưa ra một luật cụ thể cần áp dụng vào một tình huống cho trước, hệ thống được cung cấp các chỉ dẫn tổng quát. Hệ tự đề ra cách biến đổi trừu tượng thành các luật phổ dụng. 2.2.3 Học bằng qui nạp - Hệ thống được cung cấp một tập các ví dụ và kết luận được rút ra từ từng ví dụ. Hệ liên tục học các luật và quan hệ nhằm xử lý và rút ra kết luận cho từng ví dụ mới. [...]... HỌA THUẬT TỐN - Định nghĩa độ đo V: V(thuộc tính = đặc tính) = 1 Xét thuộc tính màu tóc: thuộc tính màu tóc có 3 giá trị khác nhau (tóc vàng, tóc nâu, tóc đỏ) nên sẽ có 3 vector đặc trưng tương ứng - VTóc (Vàng) = (T(vàng, cháy nắng), T(vàng, khơng cháy nắng))  Số người tóc vàng: 4  Số người tóc vàng và bị cháy nắng: 2 Chương 2 Học bằng phương pháp xây dựng cây định danh  Số người tóc vàng và khơng... liệu – nghèo tri thức - Khai mỏ dữ liệu là một giải pháp giúp phân tích tự động các núi dữ liệu và hỗ trợ ra quyết định 4.5.1.3 Sử dụng khai mỏ dữ liệu khi nào - Dữ liệu q nhiều - Dữ liệu lớn (chiều và kích thước)  Dữ liệu ảnh (kích thước)  Dữ liệu gene (số chiều) - Có ít tri thức về dữ liệu 4.5.1.4 Lĩnh vực ứng dụng khai mỏ dữ liệu 4.5.1.4.1 Thơng tin thương mại - Phân tích thị trường và mua bán... thỏa Ai và R F là số phần tử trong P thỏa Ai và khơng thỏa R G là số phần tử trong P khơng thỏa Ai và thỏa R H là số phần tử trong P khơng thỏa Ai và khơng thỏa R Nếu F + H = 0 thì loại bỏ mệnh đề Ai ra khỏi luật Áp dụng loại bỏ luật thừa - Xét luật L1: IF (Màu tóc vàng) và (có dùng kem) THEN khơng cháy nắng  Lập bảng contingency, thống kê những người có dùng kem tương ứng với màu tóc vàng và bị cháy... phát sinh ra luật tương ứng - Cụ thể từ cây định danh kết quả ở hình 2.7 ta có tập luật sau:  L1: (Màu tóc vàng) và (có dùng kem)  khơng cháy nắng  L2: (Màu tóc vàng) và (khơng dùng kem)  cháy nắng  L3: (Màu tóc nâu)  Khơng cháy nắng  L4: (Màu tóc đỏ)  cháy nắng VII TỐI ƯU HĨA TẬP LUẬT 1 Loại bỏ mệnh đề thừa - Giả sử luật của chúng ta có n mệnh đề - A1 và A2 và A3 và …… và An R - Để kiểm tra... dự đốn cũng xây dụng một mơ hình và sử dụng mơ hình đó để dự đốn cho những giá trị chưa biết Kỹ thuật gom nhóm - Gom nhóm là q trình nhóm các đối tượng thành từng nhóm/cụm/lớp có ý nghĩa Các đối tượng trong cùng một nhóm có nhiều tính chất chung và có những tính chất khác với các đối tượng 4.5.1.9 Thách thức trong q trình khai mỏ dữ liệu - Tính hiệu quả và tính ổn định của các giải thuật khai mỏ dữ... tính phân hoạch hay được sử dụng đó là:  Thuật tốn Quinlan  Thuật tốn độ đo hỗn loạn Nhận xét: thơng thường trong CSTT người ta hay dùng thuật tốn “Độ đo hỗn loạn” 3 Phân tích bài tốn: cho bảng dữ liệu quan sát sau ST T 1 2 3 4 5 6 7 8 Tên Màu Tóc Chiều Cao Cân Nặng Dùng Kem? Kết Quả Sarah Dana Alex Annie Emille Peter John Kartie Vàng Vàng Nâu Vàng Đỏ Nâu Nâu Vàng Trung Bình Cao Thấp Thấp Trung Bình... nắng - Tập Pvàng chứa lẫn lộn người khơng cháy nắng và người cháy nắng, nên tiếp tục phân hoạch tập Pvàng kết hợp với thuộc tính chiều cao thành 3 tập con sau:  Pvàng, trung bình = {Sarah}  Pvàng, cao = {Dana}  Pvàng, thấp = {Annie, Kartie} Màu tóc Vàng Chiều cao Trung bình - Cao Nâu - Alex - Peter - John Đỏ - Emmile Thấp - Sarah - Annie Hình 2.3 sơ đồ mơ tảDana hoạch cho thuộc tính màu tóc và chiều... Màu tóc vàng Khơng phải màu tóc vàng Khơng cháy nắng 2 1 Cháy nắng 0 0 Nhận xét: theo bảng thống kê thuộc tính tóc vàng khơng quyết định gì trong việc có cháy nắng hay khơng cháy nắng Do đó có thể loại bỏ thuộc tính tóc vàng ra khỏi luật L1  Lập bảng contigency, thống kê những người màu tóc vàng tương ứng có dùng kem và bị cháy nắng hay khơng Trong bảng dữ liệu quan sát có 4 người có màu tóc vàng Khơng... những người có màu tóc vàng tương ứng với khơng dùng kem và bị cháy nắng hay khơng Trong bảng dữ liệu quan sát có 5 người khơng dùng kem Màu tóc vàng Khơng phải màu tóc vàng Cháy nắng 2 1 Khơng cháy nắng 0 2 Nhận xét: theo bảng thống kê, thuộc tính màu tóc vàng quyết định có bị cháy nắng hay khơng cháy nắng Do đó khơng thể loại bỏ thuộc tính màu tóc vàng ra khỏi luật L2 Kết luận: luật L2 khơng có thuộc... L1 Kết luận: luật L1 sau khi loại bỏ luật thừa thành luật L'1 như sau: L'1: IF (Có dùng kem) THEN khơng cháy nắng - Xét luật L2: IF (màu tóc vàng) và (khơng dùng kem) THEN cháy nắng Chương 2 Học bằng phương pháp xây dựng cây định danh  Lập bảng contigency, thống kê những người khơng dùng kem tương ứng với màu tóc vàng và bị cháy nắng hay khơng Trong bảng dữ liệu quan sát có 4 người có màu tóc vàng . Công Nghệ Thông Tin đã đem hết tâm huyết của mình truyền đạt vốn kiến thức quý báu cho chúng em. Em xin chân thành cảm ơn GS. TSKH. Hoàng Văn Kiếm đã truyền đạt kiến thức môn Công Nghệ Tri Thức. tính dụng tốt thì thường ít bị tai nạn. 4.5.1.6 Qui trình khám phá tri thức Hình 1.8 qui trình khám phá tri thức 4.5.1.7 Các nhiệm vụ chính của khai mỏ dữ liệu 4.5.1.7.1 Dự đoán: - Sử dụng một vài. luật phổ dụng. 2.2.3 Học bằng qui nạp - Hệ thống được cung cấp một tập các ví dụ và kết luận được rút ra từ từng ví dụ. Hệ liên tục học các luật và quan hệ nhằm xử lý và rút ra kết luận cho