HỌC MÁY (MACHINE LEARNING)

HỌC MÁY (MACHINE LEARNING)

Chương 9: Học máy Chương IX HỌC MÁY (MACHINE LEARNING) Nội dung chính: Trong chương này, tìm hiểu nhánh nghiên cứu đại Trí Tuệ Nhân Tạo, học máy bao gồm giải thuật ID3, mạng neuron, giải thuật di truyền Mục tiêu cần đạt : Sau chương này, sinh viên : Hiểu mục tiêu lĩnh vực ‘máy hoc’ Biết tiếp cận học lĩnh vực học máy Vận dụng giải thuật ID3 vào toán thực tế Hiểu khái niệm mạng neuron vấn đề có liên quan Hiểu giải thuật di truyền ứng dụng vào tốn thực tế Kiến thức tiên quyết: Biểu diễn tri thức dạng luật, tìm kiếm khơng gian trạng thái, khái niệm Entropy Lý thuyết thông tin Tài liệu tham khảo : [1] Geogre F Luger – Artificial Intelligence, Structures and Strategies for Complex Problem Solving– Addison – Wesley Publishing Company, Inc – 2002 (trang 349 – 381, 417 – 438, 469 – 480) [2] Tom M Mitchell – Machine Learning – McGraw Hill, Inc (trang 52 – 65) [3] Wikipedia – Bách khoa toàn thư mở - Học máy: http://en.wikipedia.org/wiki/Machine_learning [4] Ender ÖZCAN, Murat ERENTÜRK – A Brief Review Of Memetic Algorithms For Solving TSP : http://physics.yeditepe.edu.tr/merenturk/tainn04.ppt I GIỚI THIỆU: Khi hỏi kỹ thông minh đồng thời khó tự động hóa người hoạt động sáng tạo nghệ thuật, hành động định mang Võ Huỳnh Trâm – Trần Ngân Bình 153 Giáo Trình Trí Tuệ Nhân Tạo tính đạo đức, trách nhiệm xã hội người ta thường đề cập đến vấn đề ngôn ngữ học Trãi qua nhiều năm, hai lĩnh vực mục tiêu, thách thức khoa học TTNT Tầm quan trọng việc học khơng cần phải tranh cãi, khả học thành tố quan trọng hành vi thông minh Mặc dù tiếp cận hệ chuyên gia phát triển nhiều năm, song số lượng hệ chuyên hạn chế Một nguyên nhân chủ yếu q trình tích lũy tri thức phức tạp, chi phí phát triển hệ chuyên gia cao, chúng khơng có khả học, khả tự thích nghi mơi trường thay đổi Các chiến lược giải vấn đề chúng cứng nhắc có nhu cầu thay đổi, việc sửa đổi lượng lớn mã chương trình khó khăn Một giải pháp hiển nhiên chương trình tự học lấy cách giải vấn đề từ kinh nghiệm, từ giống nhau, từ ví dụ hay từ ‘chỉ dẫn’, ‘lời khuyên’, Mặc dù học vấn đề khó, thành cơng số chương trình học máy thuyết phục tồn tập hợp nguyên tắc học tổng quát cho phép xây dựng nên chương trình có khả học nhiều lĩnh vực thực tế Chương giới thiệu sơ lược lĩnh vực nghiên cứu này, đồng thời vào chi tiết số giải thuật học quan trọng I.1 Định nghĩa ‘học’ Theo Herbert Simon: ‘Học định nghĩa thay đổi hệ thống cho phép tiến hành tốt lần thứ hai lặp lại nhiệm vụ với nhiệm vụ khác rút từ quần thể nhiệm vụ đó’ Định nghĩa ngắn đưa nhiều vấn đề liên quan đến việc phát triển chương trình có khả học Học liên quan đến việc khái quát hóa từ kinh nghiệm: hiệu thực chương trình khơng cải thiện với ‘việc lặp lại nhiệm vụ’ mà cịn với nhiệm vụ tương tự Vì lĩnh vực đáng ý thường có khuynh hướng to lớn, nên chương trình học – CTH (learner) khảo sát phần nhỏ tồn ví dụ có thể; từ kinh nghiệm hạn chế này, CTH phải khái quát hóa cách đắn ví dụ chưa gặp lĩnh vực Đây tốn quy nạp (induction), trung tâm việc học Trong hầu hết toán học, liệu luyện tập sẵn có thường khơng đủ để đảm bảo đưa khái quát hóa tối ưu, cho dù CTH sử dụng giải thuật Vì vậy, giải thuật học phải khái quát hóa theo phương pháp heuristic, nghĩa chúng chọn số khía cạnh mà theo kinh nghiệm cho hiệu tương lai để khái quát Các tiêu chuẩn lựa chọn gọi thiên lệch quy nạp (inductive bias) Có nhiều nhiệm vụ học (learning task) khác Ở trình bày nhiệm vụ học quy nạp (inductive learning), nhiệm vụ học Nhiệm vụ CTH học khái quát (generalization) từ tập hợp ví dụ Học khái niệm (concept learning) toán học quy nạp tiêu biểu: cho trước số ví dụ khái niệm, phải suy định nghĩa cho phép người dùng nhận biết cách đắn thể khái niệm tương lai 154 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy I.2 Các tiếp cận học: Có ba tiếp cận học: tiếp cận ký hiệu (symbol-based learning), tiếp cận mạng neuron hay kết nối (neural or connectionist networks) tiếp cận trội (emergent) hay di truyền tiến hóa (genetic and evolutionary learning) Các CTH thuộc tiếp cận dựa ký hiệu biểu diễn vấn đề dạng ký hiệu (symbol), giải thuật học tìm cách suy khái quát mới, hợp lệ, hữu dụng biểu diễn ký hiệu Có nhiều giải thuật đưa theo tiếp cận học này, nhiên phần II chương trình bày giải thuật sử dụng rộng rãi số đó, giải thuật quy nạp định ID3 Ngược lại với tiếp cận ký hiệu, tiếp cận kết nối khơng học cách tích lũy câu ngôn ngữ ký hiệu Giống não động vật chứa số lượng lớn tế bào thần kinh liên hệ với nhau, mạng neuron hệ thống gồm neuron nhân tạo liên hệ với Tri thức chương trình ngầm định tổ chức tương tác neuron Phần III vào chi tiết tiếp cận Tiếp cận thứ ba tiếp cận trội mô cách thức hệ sinh học tiến hóa tự nhiên, nên gọi tiếp cận di truyền tiến hóa Phần IV vào chi tiết tiếp cận II TIẾP CẬN KÝ HIỆU: gIẢI THUẬT QUY NẠP CÂY QUYẾT ĐỊNH ID3 II.1 Giới thiệu Giải thuật quy nạp ID3 (gọi tắt ID3) giải thuật học đơn giản tỏ thành công nhiều lĩnh vực ID3 giải thuật hay cách biểu diễn tri thức học nó, tiếp cận việc quản lý tính phức tạp, heuristic dùng cho việc chọn lựa khái niệm ứng viên, tiềm việc xử lý liệu nhiễu ID3 biểu diễn khái niệm (concept) dạng định (decision tree) Biểu diễn cho phép xác định phân loại đối tượng cách kiểm tra giá trị số thuộc tính Như vậy, nhiệm vụ giải thuật ID3 học định từ tập ví dụ rèn luyện (training example) hay cịn gọi liệu rèn luyện (training data) Hay nói khác hơn, giải thuật có: Đầu vào: Một tập hợp ví dụ Mỗi ví dụ bao gồm thuộc tính mơ tả tình huống, hay đối tượng đó, giá trị phân loại Đầu ra: Cây định có khả phân loại đắn ví dụ tập liệu rèn luyện, hy vọng phân loại cho ví dụ chưa gặp tương lai Ví dụ, xét toán phân loại xem ta ‘có chơi tennis’ ứng với thời tiết không Giải thuật ID3 học định từ tập hợp ví dụ sau: Võ Huỳnh Trâm – Trần Ngân Bình 155 Giáo Trình Trí Tuệ Nhân Tạo Bảng 9.1 - Tập liệu rèn luyện cho khái niệm ‘Có chơi tennis khơng?’ Tập liệu bao gồm 14 ví dụ Mỗi ví dụ biểu diễn cho tình trạng thời tiết gồm thuộc tính quang cảnh, nhiệt độ, độ ẩm gió; có thuộc tính phân loại ‘chơi Tennis’ (có, khơng) ‘Khơng’ nghĩa không chơi tennis ứng với thời tiết đó, ‘Có’ nghĩa ngược lại Giá trị phân loại có hai loại (có, khơng), hay cịn ta nói phân loại tập ví dụ khái niệm thành hai lớp (classes) Thuộc tính ‘Chơi tennis’ cịn gọi thuộc tính đích (target attribute) Mỗi thuộc tính có tập giá trị hữu hạn Thuộc tính quang cảnh có ba giá trị (âm u, mưa, nắng), nhiệt độ có ba giá trị (nóng, mát, ấm áp), độ ẩm có hai giá trị (cao, TB) gió có hai giá trị (mạnh, nhẹ) Các giá trị ký hiệu (symbol) dùng để biểu diễn toán Từ tập liệu rèn luyện này, giải thuật ID3 học định có khả phân loại đắn ví dụ tập này, đồng thời hy vọng tương lai, phân loại ví dụ khơng nằm tập Một định ví dụ mà giải thuật ID3 quy nạp là: Hình 9.1 - Cây định cho khái niệm ‘Có chơi tennis không?’ 156 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy Các nút định biểu diễn cho kiểm tra thuộc tính đó, giá trị có thuộc tính tương ứng với nhánh Các nút thể phân loại ví dụ thuộc nhánh đó, giá trị thuộc tính phân loại Sau giải thuật quy nạp định, sử dụng để phân loại tất ví dụ hay thể (instance) tương lai Và định không thay đổi ta cho thực lại giải thuật ID3 tập liệu rèn luyện khác Ứng với tập liệu rèn luyện có nhiều định phân loại tất ví dụ tập liệu rèn luyện Kích cỡ định khác tùy thuộc vào thứ tự kiểm tra thuộc tính Vậy để học định phân loại tất ví dụ tập rèn luyện? Một cách tiếp cận đơn giản học thuộc lịng tất ví dụ cách xây dựng mà có cho ví dụ Với cách tiếp cận định khơng phân loại cho ví dụ chưa gặp tương lai Vì phương pháp giống hình thức ‘học vẹt’, mà khơng học khái quát khái niệm cần học Vậy, ta nên học định tốt? Occam’s razor số lập luận khác cho ‘giả thuyết có khả giả thuyết đơn giản thống với tất quan sát’, ta nên luôn chấp nhận câu trả lời đơn giản đáp ứng cách đắn liệu Trong trường hợp giải thuật học cố gắng tạo định nhỏ phân loại cách đắn tất ví dụ cho Trong phần kế tiếp, vào giải thuật ID3, giải thuật quy nạp định đơn giản thỏa mãn vấn đề vừa nêu II.2 Giải thuật ID3 xây dựng định từ trên–xuống ID3 xây dựng định (cây QĐ) theo cách từ xuống Lưu ý thuộc tính nào, phân vùng tập hợp ví dụ rèn luyện thành tập tách rời, mà ví dụ phân vùng (partition) có giá trị chung cho thuộc tính ID3 chọn thuộc tính để kiểm tra nút dùng trắc nghiệm để phân vùng tập hợp ví dụ; thuật tốn xây dựng theo cách đệ quy cho phân vùng Việc tiếp tục thành viên phân vùng nằm lớp; lớp trở thành nút Vì thứ tự trắc nghiệm quan trọng việc xây dựng QĐ đơn giản, ID3 phụ thuộc nhiều vào tiêu chuẩn chọn lựa trắc nghiệm để làm gốc Để đơn giản, phần mô tả giải thuật dùng để xây dựng QĐ, với việc giả định hàm chọn trắc nghiệm thích hợp Phần trình bày heuristic chọn lựa ID3 Ví dụ, xem xét cách xây dựng QĐ ID3 hình sau từ tập ví dụ rèn luyện bảng 9.1 Võ Huỳnh Trâm – Trần Ngân Bình 157 Giáo Trình Trí Tuệ Nhân Tạo +: –: D3, D4, D5, D7, D9, D10, D11, D12, D13 D1, D2, D6, D8, D14 Quang cảnh? Nắng +: –: D9, D11 D1, D2, D8 Âm u +: –: D3, D7, D12, D13 Mưa +: –: D3, D5, D10 D6, D14 Hình 9.2 - Một phần định xây dựng Bắt đầu với bảng đầy đủ gồm 14 ví dụ rèn luyện, ID3 chọn thuộc tính quang cảnh để làm thuộc tính gốc sử dụng hàm chọn lựa thuộc tính mơ tả phần Trắc nghiệm phân chia tập ví dụ cho thấy hình 9.2 với phần tử phân vùng liệt kê số thứ tự chúng bảng * ID3 xây dựng định theo giải thuật sau: Function induce_tree(tập_ví_dụ, tập_thuộc_tính) begin if ví dụ tập_ví_dụ nằm lớp then return nút gán nhãn lớp else if tập_thuộc_tính rỗng then return nút gán nhãn tuyển tất lớp tập_ví_dụ else begin chọn thuộc tính P, lấy làm gốc cho tại; xóa P khỏi tập_thuộc_tính; với giá trị V P begin tạo nhánh gán nhãn V; Đặt vào phân_vùngV ví dụ tập_ví_dụ có giá trị V thuộc tính P; Gọi induce_tree(phân_vùngV, tập_thuộc_tính), gắn kết vào nhánh V end end end ID3 áp dụng hàm induce_tree cách đệ quy cho phân vùng Ví dụ, phân vùng nhánh “Âm u” có ví dụ tồn dương, hay thuộc lớp ‘Có’, nên ID3 tạo nút với nhãn lớp ‘Có’ Cịn phân vùng hai nhánh cịn lại vừa có ví dụ âm, vừa có ví dụ dương Nên tiếp tục chọn thuộc tính “Độ ẩm” để làm trắc nghiệm cho nhánh Nắng, thuộc tính Gió cho nhánh Mưa, ví dụ phân vùng nhánh thuộc lớp, nên giải thuật ID3 kết thúc ta có QĐ hình 9.3 158 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy +: –: D3, D4, D5, D7, D9, D10, D11, D12, D13 D1, D2, D6, D8, D14 Quang cảnh? Nắng + : D9, D11 – : D1, D2, D8 + : D3, D7, D12, D13 –: +: – : D1, D2, D8 No + : D3, D5, D10 – : D6, D14 Yes Độ ẩm? Cao Mưa Âm u TB Gió? Mạnh Nhẹ + : D9, D11 –: +: – : D6, D14 + : D4, D5, D10 Yes No Yes Hình 9.3 - Cây định xây dựng xong Lưu ý, để phân loại ví dụ, có QĐ không cần sử dụng tất thuộc tính cho, phân loại tất ví dụ Võ Huỳnh Trâm – Trần Ngân Bình 159 Giáo Trình Trí Tuệ Nhân Tạo * Các khả có phân vùng (partition): Trong trình xây dựng QĐ, phân vùng nhánh có dạng sau: Có ví dụ thuộc lớp khác nhau, chẳng hạn có ví dụ âm dương phân vùng “Quang cảnh = Nắng” ví dụ => giải thuật phải tiếp tục tách lần Tất ví dụ thuộc lớp, chẳng hạn toàn âm toàn dương phân vùng “Quang cảnh = Âm u” ví dụ => giải thuật trả nút với nhãn lớp Khơng cịn ví dụ => giải thuật trả Không cịn thuộc tính => nghĩa liệu bị nhiễu, giải thuật phải sử dụng luật để xử lý, chẳng hạn luật đa số (lớp có nhiều ví dụ dùng để gán nhãn cho nút trả về) Từ nhận xét này, ta thấy để có QĐ đơn giản, hay có chiều cao thấp, ta nên chọn thuộc tính cho tạo nhiều phân vùng chứa ví dụ thuộc lớp tốt Một phân vùng có ví dụ thuộc lớp, ta nói phân vùng có tính Vậy, để chọn thuộc tính kiểm tra giảm thiểu chiều sâu QĐ, ta cần phép đo để đo tính phân vùng, chọn thuộc tính kiểm tra tạo nhiều phân vùng tốt ID3 sử dụng lý thuyết thông tin để thực điều II.3 Thuộc tính thuộc tính dùng để phân loại tốt nhất? Quinlan (1983) người đề xuất việc sử dụng lý thuyết thông tin để tạo định cơng trình ơng sở cho phần trình bày Lý thuyết thơng tin Shannon (1948) cung cấp khái niệm entropy để đo tính (hay ngược lại độ pha trộn) tập hợp Một tập hợp tất phần tử tập hợp thuộc loại, ta nói tập hợp có độ pha trộn thấp Trong trường hợp tập ví dụ, tập ví dụ tất ví dụ có giá trị phân loại Khi tập ví dụ nói: ta biết chắn giá trị phân loại ví dụ thuộc tập này, hay ta có lượng thơng tin tập cao Khi tập ví dụ có độ pha trộn cao nhất, nghĩa số lượng ví dụ có giá trị phân loại cho loại tương đương nhau, ta khơng thể đốn xác ví dụ có giá trị phân loại gì, hay nói khác hơn, lượng thơng tin ta có tập Vậy, điều ta mong muốn chọn thuộc tính để hỏi cho chia tập ví dụ ban đầu thành tập ví dụ nhanh tốt Vậy trước hết, ta cần có phép đo để đo độ tập hợp, từ so sánh tập ví dụ tốt Phần trình bày cơng thức tính entropy tập hợp 160 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy II.3.1 Entropy đo tính tập ví dụ Khái niệm entropy tập S định nghĩa Lý thuyết thơng tin số lượng mong đợi bít cần thiết để mã hóa thơng tin lớp thành viên rút cách ngẫu nhiên từ tập S Trong trường hợp tối ưu, mã có độ dài ngắn Theo lý thuyết thơng tin, mã có độ dài tối ưu mã gán –log2p bits cho thông điệp có xác suất p Trong trường hợp S tập ví dụ, thành viên S ví dụ, ví dụ thuộc lớp hay có giá trị phân loại Entropy có giá trị nằm khoảng [0 1], Entropy(S) = tập ví dụ S tồn ví dụ thuộc loại, hay S Entropy(S) = tập ví dụ S có ví dụ thuộc loại khác với độ pha trộn cao < Entropy(S) < tập ví dụ S có số lượng ví dụ thuộc loại khác khơng Để đơn giản ta xét trường hợp ví dụ S thuộc loại âm (-) dương (+) Hình 9.4 minh họa phụ thuộc giá trị entropy vào xác suất xuất ví dụ dương Cho trước: • Tập S tập liệu rèn luyện, thuộc tính phân loại có hai giá trị, giả sử âm (-) dương (+) • p+ phần ví dụ dương tập S • p_ phần ví dụ âm tập S Khi đó, entropy đo độ pha trộn tập S theo cơng thức sau: Hình 9.4 - Entropy(S) Entropy( S ) = − p+ log p+ − p− log p− Một cách tổng quát hơn, ví dụ tập S thuộc nhiều hai loại, giả sử có c giá trị phân loại cơng thức entropy tổng qt là: c Entropy ( S ) = ∑ − pi log pi i =1 II.3.2 Lượng thông tin thu đo mức độ giảm entropy mong đợi Entropy số đo đo độ pha trộn tập ví dụ, định nghĩa phép đo hiệu suất phân loại ví dụ thuộc tính Phép đo gọi lượng thông tin Võ Huỳnh Trâm – Trần Ngân Bình 161 Giáo Trình Trí Tuệ Nhân Tạo thu được, đơn giản lượng giảm entropy mong đợi gây việc phân chia ví dụ theo thuộc tính Một cách xác hơn, Gain(S,A) thuộc tính A, tập S, định nghĩa sau: Gain( S , A) = Entropy ( S ) − | Sv | Entropy ( S v ) |S| v∈Values ( A ) ∑ Values(A) tập hợp có giá trị thuộc tính A, Sv tập S chứa ví dụ có thuộc tính A mang giá trị v Câu hỏi : Áp dụng giải thuật ID3 kết hợp với công thức entropy gain để tạo định đơn giản cho toán phân loại xem ta ‘có chơi tennis’ từ tập liệu rèn luyện cho bảng 9.1 II.4 Tìm kiếm khơng gian giả thuyết ID3 Cũng phương pháp học quy nạp khác, ID3 tìm kiếm không gian giả thuyết giả thuyết phù hợp với tập liệu rèn luyện Không gian giả thuyết mà ID3 tìm kiếm tập hợp định có ID3 thực phép tìm kiếm từ đơn giản đến phức tạp, theo giải thuật leo-núi (hill climbing), rỗng, sau xem xét giả thuyết phức tạp mà phân loại ví dụ rèn luyện Hàm đánh giá dùng để hướng dẫn tìm kiếm leo núi phép đo lượng thơng tin thu Từ cách nhìn ID3 giải thuật tìm kiếm khơng gian giả thuyết, ta có số nhận xét sau: • • Hình 9.5 - Khơng gian tìm kiếm ID3 Không gian giả thuyết định ID3 không gian đầy đủ định thuộc tính cho tập rèn luyện Điều có nghĩa khơng gian mà ID3 tìm kiếm chắn có chứa định cần tìm Trong tìm kiếm, ID3 trì giả thuyết Vì vậy, giải thuật khơng có khả biểu diễn tất định khác có khả phân loại liệu có • Giải thuật ID3 khơng có khả quay lui tìm kiếm Vì vậy, gặp phải hạn chế giống giải thuật leo núi, hội tụ cực tiểu địa phương 162 Võ Huỳnh Trâm – Trần Ngân Bình Giáo Trình Trí Tuệ Nhân Tạo III.3.4 Luật Delta Một cách dễ dàng để tổng quát hóa mạng perceptron thay hàm ngưỡng giới hạn cứng hàm kích hoạt kiểu khác Chẳng hạn như, hàm kích hoạt liên tục (để có khả lấy vi phân) tạo điều kiện cho giải thuật học phức tạp Hình 9.13 - Các hàm ngưỡng Hình 9.13 minh họa đồ thị số hàm ngưỡng: hình 9.13a hàm ngưỡng hai cực, hình 9.13b minh họa hàm kích hoạt sigmoidal thơng dụng (hàm sigmoidal hàm có hình cong chữ S), gọi hàm logistic, hàm có cơng thức sau: f(net) = 1/(1 + e-λ*net) với net = ∑i wixi Cũng hàm định nghĩa trước đây, xi đầu vào đường thứ i, wi trọng số đường vào i, λ “tham số nén” sử dụng để điều chỉnh độ cong đường Khi λ lớn, đường cong tiệm cận với hàm ngưỡng tuyến tính (trong hình 9.13a) Khi tiến gần đến 1, gần đường thẳng Hàm logistic có tính chất đặc biệt là, đạo hàm hàm có cơng thức đơn giản: f ’(net) = f(net) * (1- f(net)) (1-1) Từ hình 9.13 ta thấy với hàm ngưỡng liên tục, neuron cho kết xác nhờ vào việc điều chỉnh tham số λ Việc đưa hàm kích hoạt liên tục làm đề xuất tiếp cận để làm giảm lỗi học Qui luật học Widrow-Hoff đưa vào khoảng 1960 độc lập với hàm kích hoạt, tối thiểu hóa bình phương lỗi giá trị đầu mong muốn kích hoạt neuron, neti = WXi Một số luật học quan trọng cho hàm kích hoạt liên tục luật delta (Rumelhart et al 1986) Để sử dụng luạt delta, mạng phải sử dụng mootj hàm ngưỡng liên tục để lấy vi phân Hàm logistic trình bày bên có tính chất Khi cơng thức học theo luật delta cho việc điều chỉnh trọng số đầu vào thứ j nút thứ i là: ∆w = c(di – Oi) f’(neti)xj 172 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy đó, c số điều khiển tốc độ học, di Oi giá trị đầu thực mong muốn nút thứ i f’(neti) đạo hàm hàm kích hoạt cho nút thứ i, xj đầu vào thứ j nút thứ i Thay công thức đạo hàm (1-1) hàm logistic f’(net), ta công thức để điều chỉnh trọng số sau: ∆w = c(di – Oi) Oi( – Oi) xj (1-2) Từ công thức cho thấy, công thức điều chỉnh trọng số áp dụng cho nút mạng perceptron đơn tầng, ta có giá trị đầu mong muốn di III.4 Học Lan truyền ngược: Như phân tích trên, ta thấy mạng perceptron đơn tầng có khả giới hạn, chúng phân loại tốn khơng tách rời tuyến tính Trong phần tiếp theo, thấy mạng đa tầng giải tốn Hình 9.14 - Học lan truyền ngược mạng kết nối có tầng ẩn Các neuron mạng đa tầng (xem hình 9.14) kết nối với theo lớp, neuron tầng k truyền kích hoạt chúng cho neuron tầng k+1 Xử lý tín hiệu đa tầng có nghĩa lỗi nằm sâu bên mạng lan phát triển cách phức tạp thơng qua tầng liên tiếp Vì vậy, việc phân tích nguyên nhân gây lỗi tầng (output layer) phức tạp Giải thuật học lan truyền ngược cung cấp phương pháp điều chỉnh trọng số trường hợp III.4.1 Giải thuật học lan truyền ngược Từ lập luận cho nút mạng đa tầng, lỗi mà nút phải chịu trách nhiệm phải chia phần cho nút tầng ẩn trước trọng số phải điều chỉnh cách phù hợp Giải thuật lan truyền ngược bắt đầu tầng truyền lỗi ngược xuyên qua tầng ẩn (như hình 9.14) Võ Huỳnh Trâm – Trần Ngân Bình 173 Giáo Trình Trí Tuệ Nhân Tạo Hình 9.15 - ∑j –deltaj *wij tổng đóng góp nút i vào lỗi tầng Luật delta tổng quát để điều chỉnh trọng số đầu vào thứ k nút thứ i: ∆wk = c(di – Oi) Oi (1 – Oi) xk cho nút tầng ∆wk = c ∑j (deltaj wij) Oi (1 – Oi) xk cho nút tầng ẩn với deltaj = (dj – Oj) Oj (1 – Oj) j chạy nút tầng mà nút i truyền đầu Đối với mạng có nhiều tầng ẩn, ta áp dụng thủ tục tương tự cách đệ quy để truyền lỗi từ tầng ẩn thứ n vào tầng ẩn thứ n-1 III.4.2 Ví dụ 1: Mạng NetTalk Mạng NETtalk ví dụ hay cho việc sử dụng giải pháp mạng neuron để giải vấn đề học khó NETtalk học để đọc văn tiếng Anh Đây nhiệm vụ khó khăn tiếp cận học dựa ký hiệu, phát âm tiếng Anh mang tính bất quy tắc Mặc dù có chương trình dựa luật (rule-based) viết để giải vấn đề này, chúng phức tạp thực chưa hoàn hảo NETtalk học để đọc chuỗi văn trả âm vị với trọng âm liên hệ cho chữ chuỗi Vì phát âm chữ đơn phụ thuộc vào chữ xung quanh nó, người ta đưa vào NETtalk cửa sổ gồm ký tự Khi văn dịch chuyển qua cửa sổ này, NETtalk trả cặp âm vị/trọng âm cho chữ Hình 9.15 minh họa kiến trúc mạng NETtalk Mạng gồm có tầng neuron Các neuron đầu vào tương ứng với cửa sổ ký tự văn Mỗi vị trí cửa sổ biểu diễn 29 neuron đầu vào, 26 neurons cho 26 ký tự alphabet, neurons cho dấu khoảng trắng Ký tự ví trí cửa sổ kích hoạt neuron tương ứng Các neuron đầu mã hóa âm sử dụng 21 đặc điểm khác cách phát âm người neurons lại mã hóa dấu nhấn giới hạn âm tiết NETtalk có 80 neuron tầng ẩn, 26 giá trị đầu 18.629 kết nối 174 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy Hình 9.15 - Hình thái mạng NETtalk Kết NETtalk phát âm 60% sau rèn luyện với tập liệu rèn luyện gồm 500 ví dụ lặp lại 100 lượt Ngoài kết đạt trên, NETtalk cịn cho thấy số tính chất đáng ý mạng neuron, có nhiều tính chất số phản ánh chất tự nhiên việc học người Chẳng hạn như, việc học, đo phần trăm câu trả lời đúng, tiến triển nhanh lúc đầu, sau chậm dần tỉ lệ tăng lên Và người, neuron học phát âm nhiều từ, phát âm từ nhiều III.4.3 Ví dụ 2: Exclusive–or Một ví dụ khác cho mạng đa tầng dùng để giải toán Ex-or mà mạng đơn tầng phân loại Hình 9.16 minh họa mạng với hai đầu vào, nút ẩn nút đầu Mạng có hai đầu vào thiên lệch (bias), vào nút ẩn vào nút đầu Một điểm đặc biệt đầu vào nối trực tiếp vào nút đầu Liên kết thêm vào cho phép nhà thiết kế mạng neuron đạt mạng với nút tầng ẩn hội tụ nhanh Giá trị net cho nút ẩn nút đầu tính cách thơng thường, tổng tích giá trị đầu nhân với trọng số Các trọng số điều chỉnh theo giải thuật học lan truyền ngược sử dụng hàm kích hoạt sigmoidal Thật ra, mạng neuron hình 9.16 khơng phải mạng giải tốn Hình 9.16 - Một mạng lan truyền ngược dùng để giải toán exclusive-or Võ Huỳnh Trâm – Trần Ngân Bình 175 Giáo Trình Trí Tuệ Nhân Tạo Mạng rèn luyện với ví dụ: (0,0) → 0; (1,0) → 1; (0,1) → 1; (1,1) → Sau huấn luyện 1400 lượt với liệu trên, trọng số hội tụ giá trị sau: WH1 = -7.0 WHB = 2.6 WO1 = -5.0 WOB = 7.0 WO2 = -4.0 WH2 = -7.0 WHO = -11.0 Với giá trị đầu vào (0,0), giá trị đầu nút ẩn là: f(0 * (-7.0) + * (-7.0) + 1* 2.6 ) = f(2.6) → Kết trả nút đầu cho (0,0) là: f(0 * (-5.0) + * (-4.0) + * (-11.0) + * (7.0)) = f(-4.0) → Như vậy, ta thấy mạng lan truyền ngược phân loại điểm liệu khơng tuyến tính III.5 Nhận xét chung mạng neuron Nói chung mạng đa tầng đầy đủ mặt tính tốn (computationally complete), có nghĩa giải toán Tuy nhiên, để thiết kế mạng neuron đa tầng nhà thiết kế phải giải vấn đề sau: - Làm để chọn số nút ẩn số tầng ẩn thích hợp? - Khi sử dụng nút thiên lệch? - Cách chọn tập rèn luyện? - Điều chỉnh trọng số nào? - Nên chọn tốc độ học nào? Nói chung, khơng có quy luật tất điều này, phụ thuộc vào kinh nghiệm nhà thiết kế, kết trình thử-sai lặp lặp lại 176 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy IV TIẾP CẬN XÃ HỘI VÀ NỔI TRỘI: GIẢI THUẬT DI TRUYỀN (GENETIC ALGORITHM - GA) IV.1 Giới thiệu Cũng mạng neuron, thuật toán di truyền dựa ẩn dụ sinh học: Các thuật toán xem việc học cạnh tranh quần thể gồm lời giải ứng viên tiến hóa tốn Một hàm ‘thích nghi’ (fitness function) đánh giá lời giải để định liệu có đóng góp cho hệ lời giải hay khơng Sau đó, thơng qua phép toán tương tự với biến đổi gene sinh sản hữu tính, giải thuật tạo quần thể lời giải ứng viên IV.2 Giải thuật Khởi tạo quần thể Y Thỏa ĐK dừng N •Gọi hàm thích nghi để đánh giá lời giải ứng viên •Chọn ứng viên tốt •Tạo •Thay ứng viên Chọn lời giải tốt từ quần thể Hình 9.17- Giải thuật di truyền Hình 9.17 mơ tả giải thuật di truyền tổng quát Tùy theo toán mà nhà thiết kế giải thuật phải mô tả chi tiết về: - Phương pháp biểu diễn cá thể quần thể lời giải ứng viên tốn, hay nói khác hình thức biểu diễn lời giải tiềm tốn Khơng phải lời giải tốn mã hóa cách dễ dàng tự nhiên dạng biểu diễn mức bit toán thỏa mãn CNF - Độ lớn quần thể số lượng ứng viên có quần thể Thông thường ứng viên quần thể ban đầu chọn cách ngẫu nhiên Độ lớn quần thể khơng đổi qua hệ, vậy, có q trình chọn lọc loại bỏ số lời giải ứng viên có độ thích nghi thấp Võ Huỳnh Trâm – Trần Ngân Bình 177 Giáo Trình Trí Tuệ Nhân Tạo - Điều kiện dừng vịng lặp: chương trình đạt tới số lần lặp định đó, hay đạt tới trung bình độ tốt quần thể,… - Hàm đánh giá (fitness function): Dùng để đánh giá ứng viên có tốt hay khơng Một ứng viên tốt nghĩa độ thích nghi cao tiến đến trở thành lời giải toán Việc thiết kế hàm đánh giá tốt quan trọng thuật toán di truyền Một hàm đánh giá khơng xác làm ứng viên tốt quần thể - Chọn lựa phần trăm lời giải tốt để giữ lại? Hay chọn lời giải ứng viên để kết hợp với sinh lời giải con? - Phương pháp tạo thành viên từ thành viên có, cịn gọi tốn tử di truyền (genetic operators): Các toán tử di truyền phổ biến o Lai ghép (cross-over): Toán tử lai ghép lấy hai lời giải ứng viên chia lời giải thành hai phần, sau trao đổi phần với để tạo ứng viên Ví dụ xem hình 9.18 o Đột biến (mutation): Đột biến lấy ứng viên đơn lẻ thay đổi cách ngẫu nhiên khía cạnh Ví dụ xem hình 9.18 11 13 1101 1011 0100 1001 1101 1011 1011 Độ thích nghi (fitness) 1001 Thế hệ n Tái sản xuất Lai ghép 011 01 101 10 01 01 1 101 10 00 01 1 Đột biến Thế hệ n+1 13 10 13 Hình 9.18 - Ví dụ minh họa giải thuật toán tử di truyền Trong ví dụ minh họa hình 9.18, ta thấy hệ thứ n ta có lời giải có độ thích nghi thấp (2), vậy, khơng sử dụng q trình tái sản xuất Thay vào đó, lời giải có độ thích nghi cao (13) nhân đôi đưa vào q trình tái sản xuất Hoặc phổ biến toán tử di truyền: o Đảo ngược (inversion): Đảo ngược thứ tự bit mẫu lời giải o Trao đổi (Exchange): Trao đổi hai bit mẫu lời giải với 1101 Đảo ngược 178 1101 Trao đổi Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy 1011 0111 Một toán tử di truyền tốt đóng vai trị quan trọng thuật tốn di truyền Tốn tử di truyền phải bảo tồn mối quan hệ cốt yếu quần thể; ví dụ, có mặt tất thành phố hành trình người bán hàng toán người bán hàng - Thay thành viên cho thành viên có nào? - … IV.3 Ví dụ 1: Bài toán thỏa CNF Bài toán thỏa mãn dạng chuẩn hội (Conjunctive normal form – CNF) toán đơn giản: Một biểu thức mệnh đề (clause) dạng chuẩn hội hay CNF dãy biến mệnh đề kết nối với tốn tử quan hệ and (∧) Mỗi mệnh đề có dạng tuyển (disjunction), gồm toán tử quan hệ or (∨) biến mệnh đề (literal) Ví dụ : Nếu ta có biến mệnh đề a, b, c, d, e f, biểu thức sau CNF: (¬a ∨ c) ∧ (¬a ∨ c ∨ ¬e) ∧ (¬b ∨ c ∨ d ∨ ¬e) ∧ (a ∨ ¬b ∨ c) ∧ (¬e ∨ f) (1-3) Thỏa mãn CNF có nghĩa phải tìm phép gán true false (1 0) cho biến mệnh đề a, b, c, d, e, f cho biểu thức CNF có giá trị TRUE Một cách biểu diễn tự nhiên cho lời giải toán dãy sáu bit, bit theo thứ tự a, b, c, d, e, f biểu diễn true (1) false (0) cho biến mệnh đề Như mẫu bit: 101010 cho biết a, c, e true b, d, f false, thay giá trị vào biểu thức (1-3), cho giá trị false Chúng ta muốn toán tử di truyền sinh hệ lời giải cho biểu thức CNF mang trị true, tốn tử phải sinh mẫu 6-bit phép gán true cho biểu thức Cách biểu diễn lời giải dạng mẫu bit mang lại cho ta điều thuận lợi toán tử di truyền (lai ghép, đột biến, đảo ngược, hay trao đổi) tạo mẫu bit lời giải hợp lệ Việc chọn lựa hàm thích nghi cho quần thể chuỗi bit khơng phải hồn tồn dễ dàng Thoạt nhìn chuỗi bit, ta khó xác định hàm thích nghi để đánh giá chất lượng nào, nghĩa khó đốn độ tốt so với đáp án Đáp án chuỗi bit cho biểu thức CNF có giá trị true Tuy nhiên có số cách khác Nếu ta ý đến biểu thức CNF (1-3), ta thấy tạo thành từ hội mệnh đề Do thiết lập hệ phân hạng cho phép hạng lời giải (mẫu bit) tiềm khoảng giá trị từ đến 5, tùy thuộc vào số mệnh đề mà mẫu thỏa mãn Do mẫu: 1 0 có độ thích nghi Võ Huỳnh Trâm – Trần Ngân Bình 179 Giáo Trình Trí Tuệ Nhân Tạo 0 có độ thích nghi 0 1 có độ thích nghi 1 1 có độ thích nghi 5, lời giải IV.4 Ví dụ 2: Bài tốn người bán hàng TSP Bài toán người bán hàng (traveling salesperson problem – TSP) toán cổ điển AI khoa học máy tính Như chúng giới thiệu chương III, tồn khơng gian trạng thái địi hỏi phải xem xét N! trạng thái để tìm lời giải tối ưu, N số thành phố cần qua Khi N lớn tốn bị bùng nổ tổ hợp, người ta đặt vấn đề có cần thiết hay khơng cho việc chạy máy trạm làm việc đắt tiền nhiều lời giải tối ưu hay nên chạy PC rẻ tiền vài phút để có kết “đủ tốt” Giải thuật di truyền giải pháp cho lựa chọn thứ hai Ở toán này, dùng mẫu bit để biểu diễn cho lời giải tốn khơng phải cách hay Chẳng hạn, ta có chín thành phố cần ghé thăm 1, 2, …9, ta xem thành phố mẫu bit 0001, 0010,… 1001 Khi lời giải có hình thức sau: 0001 0010 0011 0100 0101 0110 0111 1000 1001 Với cách biểu diễn vậy, việc thiết kế tốn tử di truyền trở nên khó khăn Tốn tử lai ghép định khơng được, chuỗi tạo từ hai cha mẹ khác không biểu diễn đường ghé thăm thành phố lần Trong thực tế, với lai ghép, số thành phố bị xóa bỏ thành phố khác ghé thăm nhiều lần, khơng phải lời giải hợp lệ Cịn tốn tử đột biến nào? Giả sử bit trái thành phố thứ sáu, 0110, đột biến thành 1? 1110, 14, khơng cịn thành phố hợp lệ Một cách tiếp cận khác bỏ qua biểu diễn dạng mẫu bit đặt cho thành phố tên theo bảng chữ số, ví dụ 1, 2, …9; xem đường qua thành phố thứ tự chín ký số này, sau chọn tốn tử di truyền thích hợp để tạo đường Ở ta thấy phép trao đổi (exchange) ngẫu nhiên hai thành phố đường sử dụng được, cịn phép tốn lai ghép (crossover) khơng Việc trao đổi đoạn đường với đoạn khác đường đó, tốn tử xếp lại chữ đường (mà khơng xóa bỏ, thêm, hay nhân đơi thành phố nào) sử dụng Tuy nhiên, phương pháp gây khó khăn cho việc đưa vào hệ cháu thành phần “tốt hơn” mẫu đường qua thành phố hai cha mẹ khác Phát biểu tốn TSP: Một người bán hàng có nhiệm vụ ghé thăm N thành phố phần lộ trình bán hàng Đường cặp thành phố có chi phí (ví dụ độ dài đoạn đường, giá vé máy bay) Hãy tìm đường có chi phí thấp cho người bán hàng để bắt đầu lên đường thành phố, thăm tất thành phố khác lần quay lại thành phố xuất phát 180 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy Nhiều nhà nghiên cứu đưa toán tử lai ghép có khả khắc phục vấn đề này, có tốn tử lai ghép có thứ tự (order crossover) Davis đưa vào năm 1985 Lai ghép có thứ tự xây dựng cháu cách chọn dãy thành phố đường mẫu cha mẹ Nó bảo toàn thứ tự tương đối thành phố từ cha mẹ Đầu tiên, chọn hai điểm cắt, biểu thị dấu “|”, điểm cắt chen vào cách ngẫu nhiên vào vị trí mẫu cha mẹ Những điểm cắt ngẫu nhiên, chọn, vị trí sử dụng cho hai cha mẹ Ví dụ, có hai mẫu cho mẹ p1 p2, với điểm cắt sau thành phố thứ ba thứ bảy: p1 = (1 | | 3) p2 = (4 | | 3) Hai mẫu c1 c2 sinh theo cách sau Đầu tiên, đoạn hai điểm cắt chép vào mẫu con: c1 = (x x x | | x x) c2 = (x x x | | x x) Bước điểm cắt thứ hai hai mẫu cha mẹ, ta muốn hồn tất mẫu c1, ta điểm cắt thứ hai mẫu p2, ta chép thành phố từ điểm cắt theo thứ tự vào chỗ trống c1, bỏ qua thành phố mà c1 có (các ký số in đậm nghiêng sơ đồ bên dưới) Khi đến cuối mẫu p2, quay lại đầu mẫu p2 tiếp tục chép sang c1 c1 đủ p2 = (4 | | 3) p1 = (1 | | 3) c1 = (2 | | 8) c2 = (3 | | 5) Với giải thuật lai ghép này, đường hệ đảm bảo đường hợp lệ, qua thành phố lần Tóm lại, lai ghép thứ tự, mảnh đường truyền từ cha mẹ, p1, sang con, c1, xếp thành phố lại c1 thừa kế từ cha mẹ kia, p2 Điều ủng hộ cho trực giác hiển nhiên thứ tự thành phố đóng vai trò quan trọng việc tạo đường với chi phí thấp nhất, việc truyền lại đoạn thơng tin có thứ tự từ cha mẹ có độ thích nghi cao sang điều quan trọng Ngồi tốn tử lai ghép thứ tự trên, cịn có nhiều tốn tử lai ghép đột biến khác đưa để giải toán Bảng 9.5 liệt kê toán tử lai ghép, bảng 9.6 liệt kê toán tử đột biến Võ Huỳnh Trâm – Trần Ngân Bình 181 Giáo Trình Trí Tuệ Nhân Tạo Tên tốn tử Năm Tác giả Alternating Position Crossover (AP) Murga Cycle Crossover (CX) Distance Preserving Crossover (DPX) Edge Assembly Crossover (EAX) Edge Recombination Crossover (ER) Heuristic Crossover (HEU) Inver-over Operator (IOO) Maximal Preservative Crossover (MPX) Krämer Position Based Crossover (POS) Order Crossover (OX1) Order Based Crossover (OX2) Partially mapped Crossover (PMX) Voting Recombination Crossover (VR) (1999) Larranaga, (1987) (1996) (1997) (1989) (1987) (1998) (1988) Oliver, Smith and Holland Freisbein and Merz Nagata and Kobayashi Whitley, Timothy, Fuquay Grefenstette Tao and Michalewicz Mühlenbein, Schleuter (1991) (1985) (1991) (1985) (1989) Syswerda Davis Syswerda Goldberg and Lingle Mühlenbein Kuijpers, Poza, and Bảng 9.5 - Danh sách toán tử lai ghép cho toán TSP Tên toán tử giả Năm Tác Displacement Mutation (DM) Michalewicz Exchange Mutation (EM) Banzhaf Insertion Mutation (ISM) Inversion Mutation (IVM) Scramble Mutation (SM) Syswerda Simple Inversion Mutation (SIM) Holland (1992) (1990) (1988) (1990) (1991) Fogel Fogel (1975) Bảng 9.6 - Danh sách toán tử đột biến cho toán TSP IV.5 Đánh giá giải thuật Các ví dụ vừa nêu làm bật vấn đề mang tính thuật toán di truyền biểu diễn tri thức, chọn toán tử di truyền, thiết kế hàm thích nghi Biểu diễn chọn phải hỗ trợ cho toán tử di truyền Một điểm dáng lưu ý toán tử di truyền phải thiết kế cho bảo lưu mảnh thông tin có ý nghĩa lời giải tiềm từ hệ sang hệ Một sức mạnh quan trọng thuật toán di truyền chất song song tìm kiếm Các thuật toán thực dạng mạnh leo núi (hill climbing) trì nhiều lời giải (trong quần thể lời giải), loại bỏ lời giải khơng có triển vọng, nâng cao chất lượng lời giải tốt Hình 9.19 theo Holland (1986), cho thấy nhiều lời giải hội tụ điểm tối ưu khơng gian tìm kiếm Trong hình này, trục hồnh biểu diễn điểm có không gian lời giải, trục tung phản ánh 182 Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy chất lượng lời giải Các điểm chấm nằm cung thành viên quần thể Khởi đầu, lời giải rải khơng gian lời giải có Sau vài hệ, chúng có khuynh hướng cụm lại xung quanh vùng có chất lượng lời giải cao Chất lượng lời giải Chất lượng lời giải Khơng gian tìm kiếm a Khơng gian TK lúc khởi đầu Khơng gian tìm kiếm b Khơng gian TK sau n Hình 9.19- Các thuật tốn di truyền xem leo núi song song (theo Holland 1986) Tuy nhiên, với sức mạnh vậy, giải thuật genetic áp dụng cho tất tốn có Vì ta thấy qua hai ví dụ trên, lời giải tốn phải biểu diễn dạng mẫu thích hợp cho tốn tử di truyền hoạt động Trong thực tế có nhiều tốn khơng thể làm điều Vì vậy, nghiên cứu giải thuật này, có nhiều câu hỏi đưa nhằm hiểu rõ chất hoạt động nó: Liệu đưa đặc điểm loại toán mà giải thuật di truyền (GA) thực tốt Các loại tốn khơng thích hợp với GA Dựa vào đâu để ta nói GA thực tốt hay không tốt loại tốn đó? Liệu có qui luật mô tả hành vi GA mức vĩ mô? Hay cụ thể hơn, liệu có phán đốn thay đổi độ thích nghi nhóm quần thể theo thời gian? Có cách để mơ tả hiệu ứng khác toán tử di truyền lai ghép, đột biến, đảo ngược, v.v… Trong trường hợp (bài toán nào, toán tử di truyền nào) GA thực tốt phương pháp nghiên cứu TTNT truyền thống Những câu hỏi (và nhiều nữa) nhà khoa học Holland, Mitchell, Golderg,… nghiên cứu Võ Huỳnh Trâm – Trần Ngân Bình 183 Giáo Trình Trí Tuệ Nhân Tạo V TỔNG KẾT CHƯƠNG IX Nội dung chương bao gồm: − Giới thiệu tổng quát nhánh nghiên cứu Trí Tuệ Nhân Tạo, Học máy Học định nghĩa thay đổi hệ thống cho phép tiến hành tốt lần thứ hai lặp lại nhiệm vụ với nhiệm vụ khác rút từ quần thể nhiệm vụ − Có ba tiếp cận học: Tiếp cận thứ tiếp cận ký hiệu, hai tiếp cận mạng neuron hay kết nối tiếp cận thứ ba tiếp cận trội hay di truyền tiến hóa − Các chương trình học theo tiếp cận ký hiệu biểu diễn vấn đề dạng ký hiệu Chương trình bày giải thuật sử dụng rộng rãi tiếp cận này, ID3 ID3 học từ tập liệu rèn luyện bao gồm nhiều ví dụ, ví dụ bao gồm tập cặp ‘thuộc tính – giá trị’ Thuộc tính giá trị ký hiệu Sau học xong, ID3 biểu diễn khái niệm học định − Tiếp cận kết nối hay mạng neuron mô hệ thần kinh người để học khái niệm mà không sử dụng ký hiệu để biểu diễn vấn đề Mạng đơn tầng perceptron cho thấy sức mạnh mạng neuron, nhiên khả áp dụng chúng hạn chế cho tốn có tính tách rời tuyến tính Mạng đa tầng áp dụng giải thuật học lan truyền ngược vượt qua hạn chế mạng perceptron, chứng tỏ sức mạnh thực tiếp cận − Tương tự tiếp cận kết nối, tiếp cận di truyền tiến hóa có cảm hứng bắt nguồn từ tri thức người tiến hóa sinh vật: có cá thể có khả thích nghi với thay đổi mơi trường tồn phát triển Thuật tốn di truyền mơ theo ngun lý VI BÀI TẬP CHƯƠNG IX IX.1 Cho tập hợp ví dụ rèn luyện sau: STT 184 Phân loại + + − − + + A1 T T F F F F A2 T F T F T F A3 F T T T F F Võ Huỳnh Trâm – Trần Ngân Bình Chương 9: Học máy An muốn áp dụng giải thuật ID3 để xây dựng định với tập liệu rèn luyện Áp dụng cơng thức tính entropy gain, giúp An xác định thuộc tính (A1, A2, hay A3) thuộc tính tốt để hỏi nhằm tạo định đơn giản (Lưu ý: phải trình bày tính tốn entropy gain để đến kết luận) IX.2 Ứng dụng giải thuật di truyền để tìm giá trị biến x, y, z cho hàm f(x,y,z) = ysin(zcos(x)) – xcos(zsin(y)) đạt giá trị lớn Biết < x < 10, 0< y < 10, 30 0-10 10-30 10-30 0-10 10-30 10-30 >30 >30 Sẽ-chờ-bàn Có Khơng Có Có Khơng Có khơng Có Khơng Khơng Tập liệu thể định chờ bàn hay không người bước vào nhà hàng đông khách không bàn trống Quyết định phụ thuộc vào số yếu tố hơm có phải ngày cuối tuần không (cuối-tuần) – A1, có đói khơng (đang-đói) – A2, thời gian chờ bàn (TG-chờ) – A3: 10 phút (0-10), từ 10 đến 30 phút (10-30) hay 30 phút (>30) Áp dụng cơng thức tính entropy gain, để xác định thuộc tính tốt để hỏi nhằm tạo định đơn giản theo giải thuật ID3 Trình bày tính tốn entropy gain bước Võ Huỳnh Trâm – Trần Ngân Bình 185 Giáo Trình Trí Tuệ Nhân Tạo Chương IX 153 HỌC MÁY 153 (MACHINE LEARNING) 153 I GIỚI THIỆU: 153 I.1 Định nghĩa ‘học’ 154 I.2 Các tiếp cận học: .155 II TIẾP CẬN KÝ HIỆU: gIẢI THUẬT QUY NẠP CÂY QUYẾT ĐỊNH ID3 155 II.1 Giới thiệu .155 II.2 Giải thuật ID3 xây dựng định từ trên–xuống 157 II.3 Thuộc tính thuộc tính dùng để phân loại tốt nhất? .160 II.4 Tìm kiếm khơng gian giả thuyết ID3 162 II.5 Đánh giá hiệu suất định: 163 II.6 Chuyển luật 163 II.7 Khi nên sử dụng ID3 164 III TIẾP CẬN KẾT NỐI: MẠNG NEURON 164 III.1 Giới thiệu .164 III.2 Cơ mạng kết nối: 165 III.3 Học perceptron 167 III.4 Học Lan truyền ngược: 173 III.5 Nhận xét chung mạng neuron 176 IV TIẾP CẬN XÃ HỘI VÀ NỔI TRỘI: GIẢI THUẬT DI TRUYỀN (GENETIC ALGORITHM - GA) 177 IV.1 Giới thiệu .177 IV.2 Giải thuật 177 IV.3 Ví dụ 1: Bài tốn thỏa CNF 179 IV.4 Ví dụ 2: Bài tốn người bán hàng TSP .180 IV.5 Đánh giá giải thuật 182 TỔNG KẾT CHƯƠNG IX 184 BÀI TẬP CHƯƠNG IX 184 186 Võ Huỳnh Trâm – Trần Ngân Bình ... nhiệm vụ học (learning task) khác Ở trình bày nhiệm vụ học quy nạp (inductive learning), nhiệm vụ học Nhiệm vụ CTH học khái quát (generalization) từ tập hợp ví dụ Học khái niệm (concept learning). .. IX 153 HỌC MÁY 153 (MACHINE LEARNING) 153 I GIỚI THIỆU: 153 I.1 Định nghĩa ? ?học? ?? 154 I.2 Các tiếp cận học: .155 II... thường đề cập đến vấn đề ngôn ngữ học Trãi qua nhiều năm, hai lĩnh vực mục tiêu, thách thức khoa học TTNT Tầm quan trọng việc học khơng cần phải tranh cãi, khả học thành tố quan trọng hành vi thông