He chuyen gia

Bài giảng Hệ chuyên gia Chơng 1: giới thiệu hệ chuyên gia I.Các máy thông minh Nhiều ngành cần có máy móc trợ giúp công việc thờng ngày sản xuất lâu dài ngời ta thấy máy móc đóng góp nhiều việc tăng suất Lịch sử phát triển xà hội loại ngời cho thấy hiệu sử dụng việc sử dụng máy móc công cụ Khi ngời có trí tuệ họ đòi hỏi thiết bị tự động có khả xử lý tình thu nhËn kiÕn thøc nh ngêi NhiỊu tỉ chøc ®· sử dụng thiết bị phần mềm việc định việc tổ chức huy động tri thức chuyên gia Ngoài việc nghiên cứu m¸y cịng gióp ngêi hiĨu râ vỊ c¸ch lËp luận Tuy có nhiều quan điểm vai trò ngời máy nhng ngời ta không phủ nhận vai trò trợ giúp máy đặc biệt máy thông minh Theo thời gian ngày nhu cầu máy thông minh cấp thiết Khoảng đầu năm 1800 ngời ta trình diễn máy chơi cờ làm kích thích ngời nghiên cứu máy thông minh Năm 1934 C.Babbage thiết kế máy tính ông đề nghị phát triển máy để chơi cờ để thi đua lành mạnh với ngời Năm 1950 mong ớc máy thông minh giấc mơ công nghệ cho phép máy tính phát triển Các máy tính có khả xử lý liệu nhiên việc lËp ln vÉn lµ cđa ngêi  Khi quan niệm máy tính lên ngời ta đa tri thức vào toán giải máy tính Các kiện, luật cấu trúc đợc mà hoá thành kí hiệu Các ngôn ngữ lập trình nh LISP, PROLOG cho phép mà hoá truy nhập thông tin dạng kí hiệu Ngời ta bắt đầu nhằm vào việc phát triển chơng trình diễn tả hành vi thông minh đợc trang bị phơng tri thức, phơng pháp tìm kiếm ngôn ngữ xử lý kí hiệu II.Trí tuệ nhân tạo Năm 1956 hội thảo nhà khoa học khả máy lập luận, thuật ngữ trí tuệ nhân tạo đời Theo M Minski trí tuệ nhân tạo nhằm mô máy hành vi thông minh ngời *Định nghĩa trí tuệ nhân tạo Lĩnh vực nghiên cứu công nghệ thông tin làm cho máy tính hoạt động theo thức ngời Trí tuệ nhân tạo nghiên cứu phát triển chơng trình máy tÝnh thĨ hiƯn trÝ t ngêi ThĨ hiƯn nµy trừu tợng khó định nghĩa đợc trí tuệ Tuy nhiên khả lập luận thớc đo ngời mà không dễ dàng xác định đợc tri thức Theo quan điểm thực hành đích trí tuệ nhân tạo làm máy tính hữu hiệu cho công việc ngời Điều dễ đạt đợc chúng hỗ trợ đợc việc định, tìm kiếm thông tin thông minh hay đơn giản giúp ngời ta dùng ngôn ngữ tự nhiên với máy cách thuận lợi Một đích khác trí tuệ nhân tạo giúp ngời ta hiểu râ thªm vỊ trÝ t ngêi Con ngêi vÉn mong ớc thiết kế đợc máy tính có khả nh Nhng trớc xây dựng hệ thống máy tính thông minh cần hiểu cách ngời ta thu nhận, tổ chức dùng tri thức việc giải vấn đề Đó mục đích chơng trình Trí tuệ nhân tạo trải qua nhiều thời kì thăng trầm Do điểm mốc phát triển theo giai đoạn phát triển sau: Lúc phát triển trí tuệ nhân tạo công việc liên quan đến chơng trình phục vụ trò chơi Chơng trình chơi cờ năm 1955 Shannon đợc Samuel phát triển vào năm 1963 Họ muốn hiểu tờng tận cách mà hoá khả lập luận ngời Nghiên cứu quan trọng thời kì logic tính toán Năm 1957 chơng trình đà chứng minh tự động định lý gọi logic Theorist Dùng kĩ thuật giải năm 1969 Gren phát triển hệ thống hỏi đáp đa AQ3 để giải toán đơn giản nh xếp chữ, phân tích hoá học Năm 1960 Newel phát triển GPS cung cấp kĩ thuật giải vấn đề cho toán trò chơi đến tích hợp kí hiệu GPS ý định tách phơng pháp giải vấn đề khỏi tri thức vấn đề Hệ thống lần đầu đa khái niệm trạng thái Về sau khái niệm đợc dùng cho hệ thống khác Các nghiên cứu ứng dụng trí tuệ nhân tạo dừng lại: năm 1970 trí tuệ nhân tạo đợc đặt trớc thách thức giả vấn đề giới thực Theo báo cáo năm 1971 J.Lighthill đại học Cambridge năm 80 có tri thức đa ngành tri thức ngời năm 2000 có tri thức máy móc Vợt tri thức ngời Do nên chia nhỏ lĩnh vực trí tuệ nhân tạo máy tính nên dừng việc tự động hoá công cụ công nghệ thông tin Trí tuệ nhân tạo lại hồi sinh: Dẫu có khuyến cáo nguy máy thông minh nhng ngời ta cha thấy có máy quản lý đợc vấn đề giới thực Tuy nhiên trí tuệ nhân tạo hợp vài lĩnh vực với mét sè Ýt hƯ thèng thùc  Ngêi ta ®a kĩ thuật lập luận nhanh hơn, thuật toán tìm kiếm thông minh để mô việc giải vấn đề ngời Khi gặp nhiều thất bại việc xây dựng hệ thống nhà nghiên cứu thấy riêng kĩ thuật tìm đủ cho máy thông minh Năm 1965 đại học Standford ngời ta đa DENDRAL để xác định cấu trúc phân tử chơng trình vũ trụ Mỹ Tại phòng thí nghiệm hoá học ngời ta dùng phơng pháp truyền thống để giải vấn đề kĩ thuật tạo sinh thử Sau đến phơng pháp may rủi Những công việc DENDRAL cho phép ngời nghiên cứu trí tuệ nhân tạo thấy hành vi thông minh phụ thuộc không nhiều vào phơng pháp lập luận mà phụ thuộc vào tri thức ngời ta dùng để lập luận E.Feigenbaum nhËn xÐt “”trong tri thøc cã qun lùc” vµ tiến hành hệ thống công nghệ tri thức Và khái niệm hệ thống dựa tri thức hay hệ chuyên gia bắt đầu đời III.Các hệ chuyên gia Qua hệ chuyên gia DENDRAL vào năm 1965 ngêi ta nhËn thÊy bµi häc quan träng  Thứ chơng trình giải toán thông thờng, kĩ thuật lập luận tổng quát hạn chế, không cho phép giải vấn đề thực Thứ hai tri thức hệ thống Các hệ thống đợc thiết kế không tập trung thực vào vấn ®Ị Hai bµi häc nµy khiÕn ngêi ta xem xÐt lại tài nguyên hệ chuyên gia tri thức lĩnh vực Chuyên gia cá nhân hiểu sâu sắc lĩnh vực Trải qua kinh nghiệm chuyên gia phát triển kĩ giúp họ giải vấn đề cách hiệu Hệ chuyên gia hệ thống bắt chớc chuyên gia *Định nghĩa hệ chuyên gia Chơng trình máy tính đợc thiết kế để mô hình hoá khả giải vấn đề ngời chuyên gia Hệ chuyên gia đợc định nghĩa nh sau: hệ chuyên gia hệ thống dựa tri thức, cho phép mô hình hoá tri thức chuyên gia có chất lợng hay chuyên gia đợc huấn luyện lÜnh vùc thĨ; cho phÐp dïng tri thøc nµy để giải vấn đề phức tạp thuộc lĩnh vực Hai yếu tố quan trọng hệ chuyên gia tri thức chuyên gia, lập luận hệ thống có khối sở tri thức, mô tơ suy luận Cơ sở tri thức chứa tri thức chuyên sâu lĩnh vực nh chuyên gia sở tri thøc gåm c¸c sù kiƯn, c¸c lt, c¸c kh¸i niệm quan hệ Ngời ta cần thể tri thức dạng thích hợp Mô tơ suy luận xử lý tri thức đợc mô hình hoá theo cách lập luận chuyên gia Mô tơ hoạt động thông tin vấn đề xét, so sánh với tri thức lu trữ sở tri thøc råi rót kÕt ln hay b×nh luận Vậy cần có kĩ thuật suy luận hiệu Lí xây dựng phạm vi ứng dụng hệ chuyên gia Hệ chuyên gia yêu cầu đầu t vật t tối thiểu nhng lại phục vụ nhiỊu cho ngêi lÜnh vùc c«ng nghƯ th«ng tin Về nguyên nhân khiến ngời ta đầu t vào xây dựng hệ chuyên gia là: Hệ chuyên gia hoạt động nh chuyên gia việc truy tìm thông tin từ nhiều nguồn, từ nhiều chuyên gia Hệ chuyên gia giữ lâu dài tri thức chuyên gia chuyên gia Hệ chuyên gia có kết bền vững, không bị cảm tính thất thờng nh ngời Tốc độ hệ chuyên gia tỏ u việt xử lý nhiều vấn đề lúc Công chuyên gia cao có xu hớng tăng lên giá hệ chuyên gia giảm *So sánh hệ chuyên gia với chuyên gia Nhân tố so sánh Chuyên gia Thời gian sẵn sàng Trong việc Địa điểm Một địa phơng Tại đâu Độ an toàn Không thay Linh hoạt, thay đợc đợc Tồn Sẽ chết Sống mÃi Hiệu suất Biến động Bền vững Tốc độ Thay đổi Luôn nhanh Chi phí Hệ chuyên gia Cao làm Suốt ngày Chấp nhận đợc *Một số lí để hệ chuyên gia đợc phát triển nhằm thay chuyên gia Ngời ta cần có chuyên gia hay nơi xa, nguy hiểm Việc tự động hoá công việc dây chuyền cần đến chuyên gia mà ngời không đáp ứng đợc Cần tạo điều kiện để chuyên gia nghỉ ngơi cần đến chuyên gia thuê với giá cao *Hệ chuyên gia trợ giúp cho chuyên gia có nhu cầu Hỗ trợ chuyên gia công việc nhỏ để nâng cao hiệu suất Hỗ trợ chuyên gia công việc phức tạp để quản lý cách hiệu Dùng lại tri thức chuyên gia không nhớ Tuy nhiên ngời có u điểm đặc biệt, thay đợc linh cảm trớc vấn đề điều giúp cho ngời linh hoạt lựa chọn 2.Tác dụng hệ chuyên gia Các chuyên gia thực loạt nhiệm vụ toán nh chuẩn đoán hay lập lịch Hệ chuyên gia đợc thiết kế để làm việc nh chuyên gia tức không để ý đến ứng dụng mà thu thập thông tin lập luận tri thức theo cách riêng a.Điều khiển Các hệ thống điều khiển quản lý theo cách phù hợp hành vi hệ thống chẳng hạn nh điều khiển trình sản xuất hay điều trị bệnh nhân Một hệ chuyên gia điều khiển lấy liệu thao tác hệ thống, diễn giải liệu để hiểu trạng thái hệ thống hay dự đoán trạng thái tơng lai xác định hay khai thác điều chỉnh cần thiết Các hệ thống điều khiển cần diễn giải giám sát để theo dõi hành vi hệ thống theo thời gian Một vài hệ thống dự đoán lập kế hoạch để tránh rủi ro đà tiên liệu Hệ thống VM Fagan năm 1978 giám sát bệnh nhân theo dõi điều trị Hệ thống lấy trạng thái ngời bệnh qua liệu đầu dò qua khai báo để có trị liệu hữu hiệu Nó đo nhịp tim bệnh nhân, áp suất máu lấy thông số quạt giữ nhịp thở Trên thông tin thông tin lịch sử bệnh nhân hệ thống có điều chỉnh quạt phù hợp b.Thiết kế Hệ thống thiết kế có nhiệm vụ xây dựng đối tợng theo ràng buộc Chẳng hạn ngời ta thiết kế hệ thống máy tính với đủ yêu cầu cấu hình nhớ, tốc độCác hệ thống thờng thực bớc công việc; bớc tuân theo ràng buộc riêng Những bớc phụ thuộc lẫn nên khó thay đổi riêng bớc riêng lẻ Do hệ thống thờng đợc xây dựng theo kĩ thuật suy diễn không đơn điệu Thí dụ hệ thống thiết kế PEACE Dincbas năm 1980 dùng để hỗ trợ kĩ s thiết kế mạch điện tử Đây hệ thống thiết kế tự động nhờ máy tính CAD cho phép làm tổng hợp phân tích mạch số mạch bị động Tri thức hệ thống trờng hợp bao gồm nhiều mô tả chức thành phần mạch bản, với ràng buộc cấu trúc topo c.Chuẩn đoán Các hệ thống chuẩn đoán chức hệ thống hay phát lỗi dựa quan sát thông tin Hầu hết hệ thống chuẩn đoán có tri thức điều kiện, nguyên nhân phát sinh lỗi Chẳng hạn hệ thống chuẩn đoán bệnh dựa triệu chứng ngời bệnh, hay hệ thống định vị nơi hỏng mạch điện Gần có khuynh hớng sử dụng tiếp cận dựa mô hình Khuynh hớng cho phép mô hình hoá hành vi bình thờng hệ thống phát chuẩn đoán lỗi Các kết Fulton Pepe năm 1990 minh hoạ cho hệ thống Hệ thống NEAT năm 1989 trợ giúp kĩ thuật viên tìm lỗi xử lý liệu hay lỗi thiết bị mạng truyền thông NEAT cô lập chuẩn đoán giải vấn đề ngời dùng yêu cầu từ trạm đầu cuối Dựa CSTT hệ thống xác định cấu hình thiết bị đầu cuối hỏng d.Giảng dạy Các hệ thống giảng dạy giúp giáo dục sinh viên vài môn học Lúc sinh viên hệ thống cần đợc chuẩn đoán chỉnh lí Hệ chuyên gia tơng tác với sinh viên để tạo mô hình tìm hiểu sinh viên theo môn học Mô hình sinh viên đợc so sánh với mô hình mẫu để phát mặt yếu hiểu biết sinh viên Sau hệ thống có dẫn để bổ túc kiến thức cho sinh viên Năm 1979 Clancey đa GUIDON để dạy sinh viên điều trị bệnh nhân nhiễm khuẩn cách dạy họ chọn cách trị liệu kháng sinh Hệ thống ca chữa bệnh giới thiệu để sinh viên thực hành Hệ chuyên gia phân tích giải pháp sinh viên trả lời câu hỏi Các phơng án chữa bệnh khác có ích cho môn thực hành e.Diễn giải Các hệ thống diễn giải cho phép hiểu tình từ thông tin có sẵn Điển hình thông tin đợc rút từ tập liệu máy dò, thiết bị hay kết thí nghiệm Chẳng hạn nh đầu dò giám sát, hệ thống ảnh, kết phân tích tiếng nói Các hệ thống dịch liệu thô sang dạng kí hiệu để tiện cho việc mô tả tình Các hệ thống thờng tiếp xúc với liệu môi trờng có nhiễu không đầy đủ, không thực cần đến lập luận không xác hay lập luận thống kê Năm 1988 hệ chuyên gia FXAA trợ giúp tai nghe dịch vụ đổi tiền ngân hàng Manhattan Nó đợc thiết kế để định tên giao dịch không bình thờng, thay đợc thiết bị điện tử đặt nhiều nơi FXAA tự động lựa chọn giao dịch cần thiết đến kiểm to¸n g.Gi¸m s¸t C¸c hƯ thèng gi¸m s¸t so s¸nh thông tin quan sát hành vi hệ thống với trạng thái hệ thống đợc coi gay cấn Các hệ thống giám sát diễn giải tín hiệu thu từ đầu dò so sánh thông tin với trạng thái đà biết Khi phát điều gay cấn hệ thống kích hoạt loạt nhiệm vụ Hệ thống NAVEX Marsh năm 1984 giám sát liệu rađa ớc lợng tốc độ, vị trí tên lửa vũ trụ Hệ thống có nhiệm vụ phát sai sót dự báo trục trặc xảy tên lửa h.Lập kế hoạch Các hệ thống lập kế hoạch tạo hành động đạt đợc đích theo ràng buộc Chẳng hạn việc lập kế hoạch nhiệm vụ cho cho ngời máy để thực chức Một vài hệ thống lập kế hoạch cần mềm dẻo ®Ĩ cho phÐp thay ®ỉi c¸c nhiƯm vơ nhá phải thay đổi nhiệm vụ nhỏ phải xử lý loạt thông tin Do phải có khả thực lại số bớc lập kế hoạch, cho phép quay ngợc lại đến trạng thái quan trọng để tránh làm lại từ đầu Cũng nh công việc thiết kế, hệ thống lập kế hoạch dùng lập luận không đơn điệu Hệ chuyên gia PLANPOWER Stansfield Greenfiled đa năm 1987 cho phép lập kế hoạch tài cho ngời quản lý lĩnh vực quản lý tiền mặt, lên kế hoạch thuế, đầu t, quản lý rủi roHệ thống bao phủ diện rộng hoạt động tài chẳng hạn nh an toàn, tài sản, thu nhập cố định, bảo hiểm PLANPOWER giúp lập kế hoạch cá nhân theo yêu cầu đặc biệt thời kì năm i.Dự đoán Ngời ta dùng hệ thống dự báo để biết kết mà tình gây Các hệ thống dự báo kiện tơng lai theo thông tin đà có theo mô hình toán Các hệ thống dự đoán cần trang bị khả lập luận thời gian hay kiện theo thời gian Các mô hình cần rút đợc hành động tác động đến kiện tơng lai Chẳng hạn hệ thống tiên đoán thất bát nông nghiệp thiên tai, sâu hại Các mô hình mô thông minh thờng đợc dùng loại hệ thống Thí dụ hệ thống dự đoán PLAN Boulanger đa năm 1983 dùng để dự đoán tác hại sâu đên ngô Trớc tiên hệ thống lấy thông tin từ cánh ngô, gồm thông tin số hạt, điều kiện đất, độ tăng trởng Thông tin với chơng trình mô sâu dùng để đoán mức độ phá hoại sâu đen cánh đồng ngô k.Chẩn trị Các hệ thống chẩn trị khuyến cáo giải pháp chức sai Chúng dùng nhiệm vụ chẩn đoán để xác định đợc chức sai kết hợp với việc lập kế hoạch để có cách điều trị phù hợp Hệ thống BLUEBOX Mulsant Servan-Schreiber đa năm 1984 chẩn trị bệnh nhân bị suy nhợc Nó dùng thông tin triệu chứng ngời bệnh lịch sử bệnh án để chẩn đoán loại suy nhợc Dựa vào hệ thống hệ thống đa chẩn trị để khống chế suy nhợc m.Lựa chọn Các hệ thống lựa chọn dùng để xác định lựa chọn tốt số khả Chúng làm việc đặc tả vấn đề ngời dùng cung cấp để tìm giải pháp khớp đặc tả Trong hệ chuyên gia ngời ta thờng dùng kĩ thuật suy diễn không xác hàm đánh giá khớp Năm 1990 Gardone Ragade đa IREX để trợ giúp ngời máy môi trờng công nghiệp Hệ thống gồm phần Kiểm tra ứng dụng cần tự động hoá chọn cách tốt Sử dụng luật để chọn cấu hình, chọn loại chơng trình Dùng hệ chuyên gia để rà soát sở liệu ngời máy đề xuất năm ngời máy đa vào sử dụng l.Mô Các hệ chuyên gia mô mô hình hoá trình hay hệ thống để nghiên cứu tác nghiệp dới điều kiện đa dạng Chúng mô hình hoá thành phần khác hệ thống tơng tác hệ thống Ngời sử dụng đợc phép chỉnh lí mô hình cho phù hợp với điều kiện giả thiết đà có Với mô hình trên, từ thông tin ngời dùng cung cấp, hệ thống tiên đoán điều kiện thao tác với hệ thống thực Hệ chuyên gia STEAMER Wiliam đa năm 1983 mô giải thích thao tác hệ thống máy móc quân hải quân Nhiều thành phần đợc mô nh van, khoá cho phép điều chỉnh quan sát tác ®éng cđa thao t¸c tỉng thĨ díi c¸c ®iỊu kiƯn áp suất, nhiệt độ Chơng 2: đặc tính hệ chuyên gia 10 133 Chơng 8: hệ học MỞ ĐẦU Các chương trước thảo luận biểu diễn tri thức kỹ thuật suy diễn Trong trường hợp giả định có sẵn tri thức biểu diễn tường minh tri thức Tuy nhiều tinh huống, khơng có sẵn tri thức như: Kỹ sư phần mềm cần thu nhận tri thức từ chuyên gia lĩnh vực Cần biết luật mơ tả lĩnh vực cụ thể Bài tốn khơng biểu diễn tường minh theo luật, kiện hay quan hệ Do cần phát triển hệ thống học từ tập ví dụ Có hai tiếp cận cho hệ thống học học từ ký hiệu học từ liệu số Học từ ký hiệu bao gồm việc hình thức hóa, sửa chữa luật tường minh, kiện quan hệ Học từ liệu số áp dụng cho hệ thống mơ hình dạng số liên quan đến kỹ thuật nhằm tối ưu tham số Học theo dạng số bao gồm mạng neural nhân tạo, thuật giải di truyền, toán tối ưu truyền thống Các kỹ thuật học theo số không tạo sở tri thức tường minh CÁC HÌNH THỨC HỌC Có thể phân chia loại học sau: 2.1 Học vẹt Hệ tiếp nhận khẳng định định Khi hệ tạo định không đúng, hệ đưa luật hay quan hệ mà hệ sử dụng Hình thức học vẹt nhằm cho phép chuyên gia cung cấp tri thức theo kiểu tương tác 2.2 Học cách dẫn Thay đưa luật cụ thể cần áp dụng vào tình cho trước, hệ thống cung cấp dẫn tổng quát Ví dụ: "gas bị từ van thay từ ống dẫn" Hệ thống phải tự đề cách biến đổi từ trừu tượng đến luật khả dụng 2.3 Học qui nạp Hệ thống cung cấp tập ví dụ kết luận rút từ ví dụ Hệ liên tục lọc luật quan hệ nhằm xử lý ví dụ 2.4 Học tương tự Hệ thống cung cấp đáp ứng cho tác vụ tương tự không giống Hệ thống cần làm thích ứng đáp ứng trước nhằm tạo luật có khả áp dụng cho tình 2.5 Học dựa giải thích 134 Hệ thống phân tích tập lời giải ví dụ ( kết quả) nhằm ấn định khả sai tạo giải thích dùng để hướng dẫn cách giải toán tương lai 2.6 Học dựa tình Bấy kỳ tính hệ thống lập luận lưu trữ với kết cho dù hay sai Khi gằp tình hướng mới, hệ thống làm thích nghi hành vi lưu trữ với tình 2.7 Khám phá hay học khơng giám sát Thay có mục tiêu tường minh, hệ khám phá liên tục tìm kiếm mẫu quan hệ liệu nhập Các ví dụ học không giám sát bao gồm gom cụm liệu, học để nhận dạng đặc tính cạnh từ điểm ảnh CÂY ĐỊNH DANH Cây định danh công cụ phổ biến nhiều dạng ứng dụng, với chế rút trích luật nhân xác định mẫu liệu 3.1 Thí dụ giới thực thu gọn Tưởng tượng có liệu tốn đánh giá độ rám nắng nơi nghỉ mát Có người vui ngăm đen, có người rát rộp da Dữ liệu quan sát tám người ghi lại theo bảng sau TT Tên người Màu tóc Chiều cao Cân nặng Dùng thuốc? Kết Hoa Đen Tầm thước Nhẹ Không Bị rám Lan Đen Cao Vừa phải Có Khơng Xn Râm Thấp Vừa phải Có Khơng Hạ Đen Thấp Vừa phải Không Bị rám Thu Bạc Tầm thước Nặng Không Bị rám Đông Râm Cao Nặng Không Không Mơ Râm Tầm thước Nặng Không Không Đào Đen Thấp Nhẹ Có Khơng Bảng 8.1 Số liệu quan sát tượng rám nắng Nếu có ba liệu khác màu tóc, cân nặng, chiều cao người ta dùng thuốc khơng có 3*3*3*2 = 54 tổ hợp Một người chọn xác suất khớp với mẫu 8/54 = 0.15 Xác suất cao thực tế cịn nhiều thuộc tính nhiều giá trị khác mà thuộc tính nhận 135 Do so sánh thuộc tính đối tượng chưa biết với thuộc tính đối tượng thống kê khơng xác Một số nhận xét việc giải tốn này: Người ta xử lý liệu khơng gian đặc tính, khơng rõ thuộc tính quan trọng khó tìm thấy đối tượng khớp Có thể dùng khơng gian hệ để lập thuộc tính liên quan thuộc tính khơng liên quan Tuy nhiên thường khơng tìm thấy lý thuyết phục để tin mơ hình phân loại diễn tả tổ hợp giá trị tập thuộc tính Mặt khác mẫu bị nhiễu, khơng thực xác giới thực Người ta dùng thủ tục phân loại xác mẫu Khi thủ tục học mẫu với số lượng mẫu "khá đủ", thủ tục nhận đối tượng chưa biết Hình 8.1 Cây định danh (Người có tên ghi đậm người bị rám nắng) Một cách phù hợp cho phép thực thủ tục thử nghiệm thuộc tính xếp thử nghiệm định danh Do định danh thuộc loại định, đặc tả đặc tả định Định nghĩa 8.1 : Cây định danh (Identification tree) Cây định danh định, tập kết luận thiết lập ngầm định danh sách biết Cây định danh dùng để xác định người bị rám nắng với kiểm tra màu tóc Nếu thấy tóc đen người ta kiểm tra có dùng thuốc khơng? Ngược lại, tóc bạc hay râm, người ta khơng cần kiểm tra Nói chung việc chọn tiến hành loại kiểm tra phụ thuộc vào kết lần kiểm tra trước Xem ví dụ thể hình 8.1 Mỗi đối tượng đưa vào định danh xuống theo nhánh cây, tùy theo giá trị thuộc tính Cây định danh hình vẽ phân loại người sở liệu "rám nắng" người ứng với nút định danh Nút dùng 136 cho hay nhiều người Trong hình cho thấy người bị rám nắng đánh dấu tên in đậm Người ta đưa cây, có nút ứng với người, khơng liên quan đến thuộc tính rám nắng Liệu dùng phân loại không? So sánh định danh tổng quát, người ta thấy thứ định danh, liên quan đến rám nắng nhiều thứ hai Cây định danh tỏ biết màu tóc phần lộ ánh nắng liên quan trực tiếp đến tính rám nắng Làm chương trình hóa để đến kết luận mà khơng cần biết trước màu tóc việc dùng thuốc liên quan đến đặc tính da? Một giải đáp phát biểu Occam Phát biểu Occam dùng cho định danh: Thế giới vốn đơn giản Do định danh gồm mẫu thích hợp để định danh đối tượng chưa biết cách xác Theo phát biểu này, định danh nhỏ sau nên phù hợp 3.2 Phân loại đối tượng theo thuộc tính Nếu ta tìm kiếm định danh nhỏ cần có nhiều thử nghiệm thực khơng thực tế Chính mà nên dừng lại thủ tục xây dựng định danh nhỏ, khơng phải nhỏ Người ta chọn thử nghiệm cho phép chia sở liệu mẫu thành tập Trong nhiều mẫu chung loại Đối với tập có nhiều loại mẫu, dùng thử nghiệm khác để chia đối tượng không đồng thành tập gồm đối tượng đồng Xét ví dụ thể hình 8.2 Cơ sở liệu "rám nắng" chia nhỏ theo bốn thử nghiệm ứng với bốn thuộc tính: Thử nghiệm theo cân nặng tồi người ta đánh giá thử nghiệm theo tập đồng nhất, có tính chất rám nắng Sau dùng thử nghiệm này, mẫu rám nắng nằm tập Thử nghiệm theo chiều cao tốt Có hai người tập đồng Hai tập có lẫn người rám không rám nắng Thử nghiệm việc dùng thuốc thu ba đối tượng tập đồng gồm người không rám nắng Thử nghiệm thao màu tóc tốt Trong tập đồng rám nắng có người Thu, tập đồng khơng rám nắng có ba người Đơng, Mơ Xuân 137 Hình 8.2 Bốn cách phân chia sở liệu theo bốn thuộc tính khác Theo thử nghiệm người ta sử dụng trước tiên thử nghiệm màu tóc Thử nghiệm có tập khơng đồng ứng với màu tóc, lẫn lộn người rám nắng không rám nắng Bốn người Hoa, Lan, Hạ Đào chia nhỏ Hình 8.3 Ba cách phân chia bốn người thuộc tập không đồng Sau lần chia người ta nhận thấy ba cách chia, cách chia theo việc dùng thuốc cho phép tách bốn đối tượng thành hai tập đồng 3.3 Độ lộn xộn tập hợp Đối với sở liệu thực, thử nghiệm cho tập đồng Với sở liệu người ta cần đo mức độ lộn xộn liệu, hay độ không đồng tập sinh Công thức lý thuyết thông tin độ lộn xộn trung bình: 138 Trong nb số mẫu nhánh b, nt tổng số mẫu, nbc số mẫu nhánh b lớp c Thực chất người ta quan tâm đến số mẫu cuối nhánh Yêu cầu nb nbc cao thử nghiệm sinh tập không đồng nhất, thấp thử nghiệm sinh tập hoàn toàn thống Độ lộn xộn tính Dù cơng thức chưa cho thấy "sự lộn xộn", người ta dùng để đo thơng tin Để thấy khía cạnh quan tâm, giả sử có tập gồm phần tử hai lớp A B Nếu số phần tử hai lớp cân bằng, độ lộn xộn giá trị cực đại độ lộn xộn tính theo: -1/2log21/2 - 1/2log21/2 = 1/2 + /2 = Mặt khác phần tử thuộc A, B, độ lộn xộn -1log21 - 0log20 = Độ lộn xộn tập hoàn toàn thống nhất, tập hoàn toàn khơng đồng Độ đo lộn xộn có giá trị từ đến Bằng công cụ này, người ta tính độ lộn xộn trung bình tập cuối nhánh sau lần thử nghiệm Độ lộn xộn trung bình= độ lộn xộn tập nhánh b Trong thí dụ trước, thử nghiệm màu tóc chia sở liệu thành ba phần Tập tóc đen có hai người rám nắng hai người khơng rám nắng Tập tóc bạc có người rám nắng Trong tập tóc râm, ba người khơng rám Độ lộn xộn trung bình tính cho kết 0.5 4/8(-2/4log2 2/4 - 2/4 log2 2/4) + 1/8*0 + 3/8*0 = 0.5 Thực tính tốn tương tự: Thử nghiệm theo Độ lộn xộn Màu tóc Chiều cao Cân nặng Dùng thuốc 0.50 0.69 0.94 0.61 Bảng 8.2 Lựa chọn cách phân chia sở liệu theo độ đo lộn xộn Do thử nghiệm theo màu tóc gây lộn xộn nhất, người ta dùng làm thử nghiệm Tương tự, sau làm thử nghiệm người ta làm thử nghiệm việc dùng thuốc, tính tốn: Thử nghiệm theo Độ lộn xộn 139 Chiều cao Cân nặng Dùng thuốc 0.5 1.0 0.0 Bảng 8.3 Lựa chọn Vậy để tạo định danh, người ta dùng thủ tục SINH trình bày sau: Thủ tục SINH dùng định danh: Cho đến nút ghi tên phần tử tập mẫu đồng nhất, thực hiện: Chọn nút ứng với tập mẫu không đồng Thay nút nút thử nghiệm cho phép chia tập không đồng thành tập không đồng nhất, dựa theo tính tốn độ lộn xộn 3.4 Chuyển sang luật Một dựng định danh, muốn chuyển tri thức sang dạng luật đơn giản Người ta theo nhánh cây, từ gốc đến nút lá, lấy thử nghiệm làm giả thiết phân loại nút làm kết luận Thí dụ: Các tri thức thí dụ rám nắng nghỉ mát phần viết thành luật: IF Tóc đen Người dùng thuốc THEN Khơng IF Người tóc đen Khơng dùng thuốc THEN Họ bị rám nắng IF Người tóc bạc THEN Bị rám nắng IF Người tóc râm THEN Khơng 3.4.1 Lược bỏ giả thiết không cần thiết luật Sau thu luật chuyển từ định danh, bỏ luật khơng cần thiết để đơn giản tập luật Người ta kiểm tra giả thiết bỏ mà không thay đổi tác dụng luật mẫu Thí dụ: Xét luật luật trên: IF Tóc đen Người dùng thuốc THEN Khơng 140 Giả thiết có hai phần Nếu bỏ phần đầu, điều kiện "dùng thuốc" Theo mẫu, người dùng thuốc có Lan, Xuân Đào Không trái với phần kết luận cả, tức không bị rám nắng Do người ta bỏ phần giả thiết đầu, thu được: IF Người dùng thuốc THEN Không Để suy lý dễ dàng người ta thường đưa bảng ngẫu nhiên Sở dĩ gọi kết tùy thuộc vào thuộc tính Loại người Khơng Bị rám Người có tóc đen Người tóc khơng đen 0 Bảng 8.4 Bảng ngẫu nhiên theo loại tóc người dùng thuốc Trong bảng người ta thấy số người dùng thuốc có tóc đen, khơng đen số người bị rám nắng, không rám Bảng cho thấy tri thức màu tóc khơng định đến việc họ bị rám nắng Quay lại luật bỏ phần giả thiết thứ hai "dùng thuốc", người ta thấy số bốn người tóc đen Hoa, Lan, Hạ Đào, có hai người dùng thuốc mà bị rám nắng Còn bảng ngẫu nhiên cho biết: Dùng thuốc ? Khơng Bị rám Có dùng Khơng dùng 0 Bảng 8.5 Bảng ngẫu nhiên theo việc dùng thuốc người tóc đen Như việc dùng thuốc có tác dụng người tóc đen Các mẫu người tóc đen khơng rám nắng họ dùng thuốc Bởi ý định bỏ giả thiết khơng thực Thí dụ: Luật thứ hai tập luật: IF Người tóc den Không dùng thuốc THEN Họ bị rám nắng Tương tự thí dụ trên, người ta dự tính bỏ giả thiết đầu hai giả thiết Bảng ngẫu nhiên cho thấy: Loại người Không 141 Bị rám Người có tóc đen Người tóc khơng đen 2 Bảng 8.6 Bảng ngẫu nhiên theo loại tóc người không dùng thuốc Như giả thiết quan trọng Thiếu người ta khơng thể đảm bảo việc khớp để kết luận không bị rám nắng Nếu xét tiếp giả thiết lại, số bốn người tóc đen có hai bị rám hai không Bảng ngẫu nhiên cho thấy: Dùng thuốc ? Khơng Bị rám Có dùng Khơng dùng 0 Bảng 8.7 Bảng ngẫu nhiên theo việc dùng thuốc người tóc đen Nội dung bảng cho thấy bỏ giả thiết Luật khơng cần đơn giản Thí dụ: Xét hai luật cịn lại Chúng có giả thiết Việc bỏ giả thiết không Các bảng ngẫu nhiên cho tri thức 3.4.2 Lược bỏ luật thừa Phần đơn giản hóa luật riêng rẽ Nhìn tổng thể, chúng cần tính giản Các luật không cần thiết cần bỏ Quả thật có luật số bốn luật thu bị bỏ Thí dụ: Bốn luật thu gồm có: IF Người tóc đen khơng dùng thuốc THEN Họ bị rám nắng IF Người dùng thuốc THEN Khơng IF Người tóc bạc THEN Bị rám nắng IF Người tóc râm THEN Khơng Hai luật có kết luận "rám nắng" hai luật khẳng định "khơng cả" Người ta thay hai luật khẳng định "rám nắng" luật Gọi luật mặc định Luật mặc định luật dùng khơng có luật Do có hai kết luận, có hai khả luật mặc định: 142 IF Khơng có luật THEN Người bị rám nắng IF Khơng có luật THEN Khơng Chắc chắn dùng hai luật được! Cả hai luật ứng với hai luật khác Cần chọn luật mặc định luật quét kết luận chung tập mẫu, tức "khơng cả" Thí dụ chọn: IF Người tóc đen Khơng dùng thuốc THEN Họ bị rám nắng IF Người tóc bạc THEN Bị rám nắng IF Khơng có luật THEN Khơng Một cách khác chọn luật mặc định không dựa vào số mẫu thu được, mà dựa vào số giả thiết luật, người ta có tập luật sau: IF Người dùng thuốc THEN Khơng IF Người tóc râm THEN Khơng IF Khơng có luật THEN Người bị rám nắng Tóm lại, để chuyển định danh tập luật, thực thủ tục tên CAT sau: Dùng thủ tục CAT cho phép tạo nên luật từ định danh: Tạo luật từ nhánh gốc - định danh Đơn giản hóa luật cách khử giả thiết khơng có tác dụng kết luận luật Thay luật có chung kết luận luật mặc định Luật kích hoạt khơng có luật hoạt động Khi có nhiều khả năng, dùng phép may rủi để chọn luật mặc định THUẬT GIẢI ILA Thuật giải ILA (Inductive Learning Algorithm) dùng để xác định luật phân loại cho tập hợp mẫu học Thuật giải thực theo chế lặp, để tìm luật 143 riêng đại diện cho tập mẫu lớp Sau xác định luật, ILA loại bỏ mẫu liên quan khỏi tập mẫu, đồng thời thêm luật vào tập luật Kết có danh sách có thứ tự luật không định Các ưu điểm thuật giải trình bày sau: Dạng luật phù hợp cho việc khảo sát liệu, mô tả lớp cách đơn giản để dễ phân biệt với lớp khác Tập luật thứ tự, riêng biệt – cho phép quan tâm đến luật thời điểm Khác với việc xử lý luật theo phương pháp định, vốn phức tạp trường hợp nút trở nên lớn 4.1 Xác định liệu Tập mẫu liệt kê bảng, với dòng tương ứng mẫu, cột thể thuộc tính mẫu Tập mẫu có m mẫu, mẫu gồm k thuộc tính, có thuộc tính định Tổng số n giá trị thuộc tính số lớp tập mẫu Tập luật R có giá trị khởi tạo  Tất cột bảng ban đầu chưa đánh dấu (kiểm tra) 4.2 Thuật giải ILA Bước 1: Chia bảng m mẫu ban đầu thành n bảng Mỗi bảng ứng với giá trị thuộc tính phân lớp tập tập mẫu (* thực bước đến cho bảng con*) Bước 2: Khởi tạo đếm kết hợp thuộc tính j, j=1 Bước 3: Với bảng khảo sát, phân chia danh sách thuộc tính theo tổ hợp phân biệt, tổ hợp ứng với j thuộc tính phân biệt Bước 4: Với tổ hợp thuộc tính, tính số lượng giá trị thuộc tính xuất theo tổ hợp thuộc tính dịng chưa đánh dấu bảng xét (mà đồng thời khơng xuất với tổ hợp thuộc tính bảng lại) Gọi tổ hợp (trong bảng con) có số lần xuất nhiều tổ hợp lớn Bước 5: Nếu tổ hợp lớn  , tăng j lên quay lại bước Bước 6: Đánh dấu dòng thoả tổ hợp lớn bảng xử lý theo lớp Bước 7: Thêm luật vào tập luật R, với vế trái tập thuộc tính tổ hợp lớn (kết hợp thuộc tính toán tử AND) vế phải là giá trị thuộc tính định tương ứng 144 Bước 8: Nếu tất dòng đánh dấu phân lớp, tiếp tục thực từ bước cho bảng lại Ngược lại (nếu chưa đánh dấu hết dịng) quay lại bước Nếu tất bảng xét kết thúc, kết thu tập luật cần tìm 4.3 Mô tả thuật giải ILA ILA thuật giải đơn giản rút trích luật dẫn từ tập mẫu Mỗi mẫu mô tả dạng tập xác định thuộc tính, thuộc tính ứng với vài giá trị Để minh họa thuật giải ILA, sử dụng tập mẫu cho bảng 7.8, gồm có mẫu (m=7), thuộc tính (k=3), thuộc tính định (phân lớp) có hai giá trị {yes, no} (n=2) Trong ví dụ này, "Size", "Color" "Shape" thuộc tính với nhóm giá trị {small, medium, large}, {red, blue, green}, {brick, wedge, sphere, pillar} Mẫu số Size Color Shape Decision medium blue brick yes small red wedge no small red sphere yes large red wedge no large green pillar yes large red pillar no large green sphere yes Bảng 8.8 Tập mẫu học cho toán phân lớp đối tượng Do n=2, bước ta chia tập mẫu thành hai bảng bảng 7.9 Bảng Mẫu số cũ, Size Color Shape Decision 1 medium blue brick yes small red sphere yes large green pillar yes large green sphere yes Bảng 145 Mẫu số cũ Size Color Shape Decision small red wedge no large red wedge no large red pillar no Bảng 8.9 Chia thành hai bảng theo thuộc tính Decision Áp dụng bước thuật giải vào bảng thứ bảng 7.9 Với j=1, danh sách tổ hợp thuộc tính gồm có {Size}, {Color}, {Shape} Với tổ hợp {Size}, giá trị thuộc tính "medium" xuất bảng thứ bảng thứ hai, giá trị tổ hợp lớn "medium" Bởi giá trị thuộc tính "small" "large" xuất hai bảng con, nên không xét bước Với tổ hợp {Size}, giá trị thuộc tính "medium" 1, ta xét tiếp cho tổ hợp {Color} giá trị tổ hợp lớn 2, ứng với thuộc tính "green", cịn thuộc tính "blue" Tương tự vậy, với tổ hợp {Shape}, ta có "brick" xuất lần, "sphere" hai lần Đến cuối bước 4, ta có tổ hợp {Color} với thuộc tính "green" {Shape} với thuộc tính "sphere" có số lần xuất lớn Thuật toán mặc định chọn trường hợp thứ để xác định luật tổ hợp lớn Dòng đánh dấu phân lớp, ta có luật dẫn sau: Rule 1: IF color green THEN decision yes Ta tiếp tục thực từ bước đến cho mẫu lại (chưa đánh dấu) bảng (tức dòng 2) Áp dụng tương tự trên, ta thấy giá trị thuộc tính "medium" {Size}, "blue" "Color", "brick" "sphere" {Shape} xuất lần Bởi số lần xuất giống nhau, thuật giải áp dụng luật mặc định chọn trường hợp Ta có thêm luật dẫn sau: Rule 2: IF size medium THEN decision yes Đánh dấu cho dòng bảng thứ Tiếp tục áp dụng bước đến dòng lại (tức dòng 2) Giá trị thuộc tính "sphere" {Shape} xuất lần, ta có luật dẫn thứ ba: Rule 3: IF shape sphere THEN decision yes Dòng đánh dấu Như vậy, tất dòng bảng đánh dấu, ta chuyển qua xử lý tiếp bảng Thuộc tính "wedge" 146 {Shape} xuất hai lần dòng bảng Đánh dấu dòng với luật dẫn thứ tư sau: Rule 4: IF shape wedge THEN decision no Với dòng lại (tức dịng 3) bảng 2, ta có thuộc tính {Size} với giá trị "large" có xuất bảng Do đó, theo thuật giải, ta loại bỏ trường hợp Tương tự cho giá trị "red" {Color} "pillar" {Shape} Khi đó, ILA tăng j lên 1, khởi tạo tổ hợp thuộc tính {Size Color}, {Size Shape}, {Color Shape} Các tổ hợp thứ thứ ba thhoả mãn điều kiện không xuất bảng với cặp thuộc tính có dòng Theo luật mặc định, ta chọn luật theo trường hợp thứ Đánh dấu dòng này, ta có thêm luật dẫn thứ 5: Rule 5: IF size large AND color red THEN decision no Bởi lúc tất dịng bảng hai đầu đánh dấu phân lớp, đồng thời khơng cịn bảng chưa xét, thuật giải kết thúc 4.4 Đánh giá thuật giải Số lượng luật thu xác định mức độ thành công thuật giải Đây mục đích tốn phân lớp thơng qua tập mẫu học Một vấn đề để đánh giá hệ học quy nạp khả hệ thống phân lớp mẫu đưa vào sau Thuật giải ILA đánh giá mạnh hai thuật giải tiếng phương pháp học quy nạp trước ID3 AQ, thử nghiệm số tập mẫu Balloons, Balance, Tic-tac-toe (lấy từ Kho Dữ liệu Máy học Giả thuyết - Đại học California Irvine) 147 ... hệ chuyên gia tỏ u việt xử lý nhiều vấn đề lúc Công chuyên gia cao có xu hớng tăng lên giá hệ chuyên gia giảm *So sánh hệ chuyên gia với chuyên gia Nhân tố so sánh Chuyên gia Thời gian sẵn sàng... đến thời gian chuyên gia Do mà nhìn chung hệ chuyên gia cần đến tính sẵn sàng chuyên gia e.Tính hợp tác 24 Thái độ hợp tác chuyên gia yếu tố sống thành công đề án hệ chuyên gia Nếu chuyên gia cảm... đến chuyên gia mà ngời không đáp ứng đợc Cần tạo điều kiện để chuyên gia nghỉ ngơi cần đến chuyên gia thuê với giá cao *Hệ chuyên gia trợ giúp cho chuyên gia có nhu cầu Hỗ trợ chuyên gia công