Semi – supervised learning

Học máy (còn gọi là Máy học) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc phát triển các kĩ thuật cho phép các máy tính có thể "học"

Semi – Superviesd learning Semi – supervised learning Information Chương I: GIỚI THIỆU VỀ MÁY HỌC ( Machine learning ) I GIỚI THIỆU: 1.1 Định nghĩa ‘học’ 1.2. Khái niệm về học máy 1.3 Các tiếp cận học 1.4 Tương tác với con người II. QUÁ TRÌNH HỌC MÁY 2.1 Quá trình trích tri thức từ dữ liệu 2.2 Phân loại học 2.3 Dữ liệu 2.4 Giao thức 2.5 Tiêu chuẩn thành công 2.6 Không gian biểu diễn 2.7 Bản chất của các thuộc tính 2.8 Tiền xử lý dữ liệu 2.10 Tập mẫu 2.11 Tìm kiếm trong không gian giải thuyết III. CÁC LOẠI GIẢI THUẬT TRONG MÁY 3.1 Các loại giải thuật. 3.2 Các chủ đề về học máy Chương II: HỌC NỬA GIÁM SÁT(Semi-supervised learning ) I. TỔNG QUAN 1.1 Giới thiệu về học có giám sát (supervised learning) và không có giám sát (unsupervised learning) a. Học có giám sát: b. Học không có giám sát: 1.2 Khái niệm về học nửa giám sát II. MỘT SỐ GIẢI THUẬT TRONG HỌC NỬA GIẤM SÁT 2.1 Generative Models 2.1.1 Giới thiệu về “Generative Models” 2.1. Generative Models trong Semi - supervised learning 2.1.3 Ưu điểm và nhược điểm của giải thuật 2.1.5 Ứng dụng của mô hình 2.2 Semi – superviesd Suport vector machines 2.2.1 Giới thiệu về S3VM 2.2.2 Giải thuật S3MV 2.2.3 Kết luận về S3VM 2.3 Self-training CHƯƠNG III. SELF – TRAINING VÀ BÀI TOÁN NHẬN DẠNG KÝ TỤ TRÊN 1 Semi – Superviesd learning ẢNH I. GIẢI THUẬT SELF – TRAINING 1.1 Giới thiệu về Self – training 1.2 Giải thuật 1.3 Đánh giá giải thuật II. BÀI TOÁN NHẬN DẠNG KÝ TỰ TRÊN ẢNH 2.1 Phân tích bài toán 2.2 Hướng giải quyết bài toán. I. KẾT QUẢ BAN ĐẦU ĐÃ ĐẠT ĐƯỢC II. HƯỚNG PHÁT TRIỂN SEMI – SUPERVISED LEARNING MỤC LỤC Semi – supervised learning .1 Chương I: GIỚI THIỆU VỀ MÁY HỌC .4 ( Machine learning ) .4 I GIỚI THIỆU: 5 1.1Định nghĩa ‘học’ 5 1.2. Khái niệm về học máy .7 1.3 Các tiếp cận học .7 1.4 Tương tác với con người 8 II. QUÁ TRÌNH HỌC MÁY .8 2.1 Quá trình trích tri thức từ dữ liệu .8 2.2 Phân loại học 9 2.3 Dữ liệu 9 2.4 Giao thức 9 2.5 Tiêu chuẩn thành công .9 2.6 Không gian biểu diễn .10 2.7 Bản chất của các thuộc tính .10 2 Semi – Superviesd learning 2.8 Tiền xử lý dữ liệu .11 2.10 Tập mẫu .11 2.11 Tìm kiếm trong không gian giải thuyết .12 III. CÁC LOẠI GIẢI THUẬT TRONG MÁY .12 3.1 Các loại giải thuật .12 3.2 Các chủ đề về học máy 13 Chương II: HỌC NỬA GIÁM SÁT 15 (Semi-supervised learning ) .15 I. TỔNG QUAN .15 1.1 Giới thiệu về học có giám sát (supervised learning) và không có giám sát (unsupervised learning) 15 a. Học có giám sát: 15 b. Học không có giám sát: 18 1.2 Khái niệm về học nửa giám sát 19 II. MỘT SỐ GIẢI THUẬT TRONG HỌC NỬA GIẤM SÁT .20 2.1 Generative Models .20 2.1.1 Giới thiệu về “Generative Models” 20 2.1. Generative Models trong Semi - supervised learning 20 2.1.3 Ưu điểm và nhược điểm của giải thuật 23 2.1.5 Ứng dụng của mô hình 23 2.2 Semi – superviesd Suport vector machines .24 2.2.1 Giới thiệu về S3VM 24 2.2.2 Giải thuật S3MV .25 2.2.3 Kết luận về S3VM .26 2.3 Self-training 27 CHƯƠNG III. SELF – TRAINING VÀ BÀI TOÁN NHẬN DẠNG KÝ TỤ TRÊN ẢNH 28 I. GIẢI THUẬT SELF – TRAINING 28 1.1 Giới thiệu về Self – training .28 1.2 Giải thuật 28 1.3 Đánh giá giải thuật .29 II. BÀI TOÁN NHẬN DẠNG KÝ TỰ TRÊN ẢNH 29 2.1 Phân tích bài toán .29 2.2 Hướng giải quyết bài toán 29 I. KẾT QUẢ BAN ĐẦU ĐÃ ĐẠT ĐƯỢC 31 II. HƯỚNG PHÁT TRIỂN 31 3 Semi – Superviesd learning NHẬN XÉT CỦA HỘI Chương I: GIỚI THIỆU VỀ MÁY HỌC ( Machine learning ) 4 Semi – Superviesd learning I GIỚI THIỆU: Khi được hỏi về những kỹ năng thông minh nào là cơ bản nhất đồng thời khó tự động hóa nhất của con người ngoài các hoạt động sáng tạo nghệ thuật, hành động ra quyết định mang Trãi qua nhiều năm, hai lĩnh vực này vẫn là mục tiêu, thách thức của khoa học TTNT. Tầm quan trọng của việc học thì không cần phải tranh cãi, vì khả năng học chính là một trong những thành tố quan trọng của hành vi thông minh. Mặc dù tiếp cận hệ chuyên gia đã phát triển được nhiều năm, song số lượng các hệ chuyên vẫn còn hạn chế. Một trong những nguyên nhân chủ yếu là do quá trình tích lũy tri thức phức tạp, chi phí phát triển các hệ chuyên gia rất cao, nhưng chúng không có khả năng học, khả năng tự thích nghi khi môi trường thay đổi. Các chiến lược giải quyết vấn đề của chúng cứng nhắc và khi có nhu cầu thay đổi, thì việc sửa đổi một lượng lớn mã chương trình là rất khó khăn. Một giải pháp hiển nhiên là các chương trình tự học lấy cách giải quyết vấn đề từ kinh nghiệm, từ sự giống nhau, từ các ví dụ hay từ những ‘chỉ dẫn’, ‘lời khuyên’, . Mặc dù học vẫn còn là một vấn đề khó, nhưng sự thành công của một số chương trình học máy thuyết phục rằng có thể tồn tại một tập hợp các nguyên tắc học tổng quát cho phép xây dựng nên các chương trình có khả năng học trong nhiều lĩnh vực thực tế. 1.1 Định nghĩa ‘học’ Theo Herbert Simon: ‘Học được định nghĩa như là bất cứ sự thay đổi nào trong một hệ thống cho phép nó tiến hành tốt hơn trong lần thứ hai khi lặp 5 Semi – Superviesd learning lại cùng một nhiệm vụ hoặc với một nhiệm vụ khác rút ra từ cùng một quần thể các nhiệm vụ đó’ Định nghĩa này mặc dù ngắn nhưng đưa ra nhiều vấn đề liên quan đến việc phát triển một chương trình có khả năng học. Học liên quan đến việc khái quát hóa từ kinh nghiệm: hiệu quả thực hiện của chương trình không chỉ cải thiện với ‘việc lặp lại cùng một nhiệm vụ’ mà còn với các nhiệm vụ tương tự. Vì những lĩnh vực đáng chú ý thường có khuynh hướng là to lớn, nên các chương trình học – (learner) chỉ có thể khảo sát một phần nhỏ trong toàn bộ các ví dụ có thể; từ kinh nghiệm hạn chế này, chương trình học vẫn phải khái quát hóa được một cách đúng đắn những ví dụ chưa từng gặp trong lĩnh vực đó. Đây chính là bài toán quy nạp (induction), và nó chính là trung tâm của việc học. Trong hầu hết các bài toán học, dữ liệu luyện tập sẵn có thường không đủ để đảm bảo đưa ra được một khái quát hóa tối ưu, cho dù chương trình học sử dụng giải thuật nào. Vì vậy, các giải thuật học phải khái quát hóa theo phương pháp heuristic, nghĩa là chúng sẽ chọn một số khía cạnh nào đó mà theo kinh nghiệm là cho hiệu quả trong tương lai để khái quát. Các tiêu chuẩn lựa chọn này gọi là thiên lệch quy nạp (inductive bias). Có nhiều nhiệm vụ học (learning task) khác nhau. Nhiệm vụ của chương trình học là học một khái quát (generalization) từ một tập hợp các ví dụ. Học khái niệm (concept learning) là một bài toán học quy nạp tiêu biểu: cho trước một số ví dụ của khái niệm, chúng ta phải suy ra một định nghĩa cho phép người dùng nhận biết một cách đúng đắn những thể hiện của khái niệm đó trong tương lai. Một số khái niệm:  Học thuộc lòng  Học tăng cường 6 Semi – Superviesd learning  Học khái niệm  Giải quyết vấn đề  Khái quát hoávà đặc biệt hoá  Bias:  Cố định một họ khái niệm  Tìm kiếm trong họkhái niệm giải thích tốt nhất dữliệu  Lựa chọn BIAS là một sự thoả hiệp 1.2. Khái niệm về học máy Học máy (còn gọi là Máy học) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc phát triển các kĩ thuật cho phép các máy tính có thể "học". Cụ thể hơn, học máy là một phương pháp để tạo ra các chương trình máy tính bằng việc phân tích các tập dữ liệu. Học máy có liên quan lớn đến thống kê, vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán. Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, vì thế một phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ mà có thể xử lí được. Học máy có tính ứng dụng rất cao bao gồm máy truy tìm dữ liệu, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, chơi trò chơi và cử động rô-bốt (robot locomotion). 1.3 Các tiếp cận học Có ba tiếp cận học: tiếp cận ký hiệu (symbol-based learning), tiếp cận mạng neuron hay kết nối (neural or connectionist networks) và tiếp cận nổi trội (emergent) hay di truyền và tiến hóa (genetic and evolutionary learning). 7 Semi – Superviesd learning Các chương trình học thuộc tiếp cận dựa trên ký hiệu biểu diễn vấn đề dưới dạng các ký hiệu (symbol), các giải thuật học sẽ tìm cách suy ra các khái quát mới, hợp lệ, hữu dụng và được biểu diễn bằng các ký hiệu này. Ngược lại với tiếp cận ký hiệu, tiếp cận kết nối không học bằng cách tích lũy các câu trong một ngôn ngữ ký hiệu. Giống như bộ não động vật chứa một số lượng lớn các tế bào thần kinh liên hệ với nhau, mạng neuron là những hệ thống gồm các neuron nhân tạo liên hệ với nhau. Tri thức của chương trình là ngầm định trong tổ chức và tương tác của các neuron này. Tiếp cận thứ ba là tiếp cận nổi trội mô phỏng cách thức các hệ sinh học tiến hóa trong tự nhiên, nên còn được gọi là tiếp cận di truyền và tiến hóa. 1.4 Tương tác với con người Một số hệ thống học máy nỗ lực loại bỏ nhu cầu trực giác của con người trong việc phân tích dữ liệu, trong khi các hệ thống khác hướng đến việc tăng sự cộng tác giữa người và máy. Không thể loại bỏ hoàn toàn tác động của con người vì các nhà thiết kế hệ thống phải chỉ định cách biểu diễn của dữ liệu và những cơ chế nào sẽ được dùng để tìm kiếm các đặc tính của dữ liệu. Học máy có thể được xem là một nỗ lực để tự động hóa một số phần của phương pháp khoa học. Một số nhà nghiên cứu học máy tạo ra các phương pháp bên trong các framework của thống kê Bayes (Bayesian statistics). II. QUÁ TRÌNH HỌC MÁY 2.1 Quá trình trích tri thức từ dữ liệu  Làm sạch dữ liệu  Sử dụng một phương pháp học để đề nghị mô hình  Hợp thức hoá mô hình được đề nghị 8 Semi – Superviesd learning 2.2 Phân loại học  Cơ chế cơ sở: Quy nạp = phương pháp cho phép rút ra các kết luận từ một dãy các sự kiện.  Học giám sát classification, regression, logistic regression …Dãy "sự kiện" được "gán nhãn"  Học không giám sát ( không thầy) : clustering. Dãy sự kiện không được "gán nhãn". 2.3 Dữ liệu  Bản chất: số, ký hiệu, pha trộn  Chất lượng: nhiễu, gốc… 2.4 Giao thức  Giám sát / không giám sát  Giới thiệu các ví dụ cho học:  Từng vi dụ một ( theo một cách rút) - incremental  Tất cả các ví dụ đồng thời 2.5 Tiêu chuẩn thành công  Cách ứng xử:  Đo lường tỷ suất lỗi của sự phân lớp  Sự hội tụ  Sự diễn giải:  Giải thích  Tính dễ hiểu 9 Semi – Superviesd learning 2.6 Không gian biểu diễn  Không gian biểu diễn, ký hiệu X, các phần tử của nó được gọi là các dữ liệu / các thể hiện / cácđối tượng / các ví dụ.  Mỗi phần tử x thuoc X được biểu diễn bởi một tập k thuộc tính ( bộ mô tả / biến ) x = ( x1, x2, …,xk)  Một đối tượng x cũng có thể được kết hợp với lớp liên thuộc của nó (nhãn) : z = ( x, c ) 2.7 Bản chất của các thuộc tính  Số ( giá trị trong R )  Rời rạc / chất / tên / tử số ( giá trị trong N )  Nhị phận ( giá trị trong { 0, 1 } ) 10 [...]... giải quyết bài toán Sử dụng giải thuật self – training (semi – superviesd learning) , xây dưng mô hình bằng mạng nơron 29 Semi – Superviesd learning 30 Semi – Superviesd learning CHƯƠNG IV MỘT SỐ KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN I KẾT QUẢ BAN ĐẦU ĐÃ ĐẠT ĐƯỢC Tìm hiêu được bản chất của giải thuật semi - superviesd, các giải thuật trong semi – superviesd Semi – superviesd là lựa chọn hữu ích cho các... 27 Semi – Superviesd learning CHƯƠNG III SELF – TRAINING VÀ BÀI TOÁN NHẬN DẠNG KÝ TỤ TRÊN ẢNH I GIẢI THUẬT SELF – TRAINING 1.1 Giới thiệu về Self – training Self – training là giải thuật trong semi – superviesd learning 1.2 Giải thuật Giả thiết có một tập dữ liệu đã được gắn nhãn (Xl, Yl) Mục tiêu của thuật toán là phân loại các dữ liệu chưa được gắn nhãn Để giải quyết vấn đề bằng giải thuật self –. .. hóa: hầu hết các phương pháp trên đều sử dụng tối ưu hóa hoặc là các thể hiện của các thuật toán tối ưu hóa 14 Semi – Superviesd learning Chương II: HỌC NỬA GIÁM SÁT (Semi- supervised learning ) I TỔNG QUAN 1.1 Giới thiệu về học có giám sát (supervised learning) và không có giám sát (unsupervised learning) a Học có giám sát: Học có giám sát là một kĩ thuật của ngành học máy để xây dựng một hàm (function)... không có sẵn các ví dụ đã được gắn nhãn • Học nửa giám sát (semi- supervised learning) kết hợp các ví dụ có gắn nhãn và không gắn nhãn để sinh một hàm hoặc một bộ phân loại thích hợp • Học tăng cường (reinforcement learning) trong đó, thuật toán học một chính sách hành động tùy theo các quan sát về thế giới Mỗi hành 12 Semi – Superviesd learning động đều có tác động tới môi trường, và môi trường... phân loại dữ liệu x chưa có nhãn được đua vào từ tập Xi Bước 3: Bổ sung vào tập huấn luyện ban đầu (x, f(x)) Bước 4: Lặp lại quá trình từ bước 1 28 Semi – Superviesd learning 1.3 Đánh giá giải thuật Ưu điểm: Là phương pháp đơn giản nhất trong semi – superviesd learning Thường sử dụng trong những nhiệm vụ thực sự như xử lý ngôn ngữ tự nhiên Giải thuật dể hiểu, dễ học Hạn chế của giải thuật: II BÀI TOÁN... trong việc phân tích khoảng, đoạn và cung cấp một kiến trúc mô hình đa dạng, phong phú 2.1 Generative Models trong Semi - supervised learning Generative Models thường được biết đến với việc giải quyết các bài toán nhận dạng ảnh, nhận dạng văn bản, nhận dạng tiếng nói 20 Semi – Superviesd learning a Mô tả Generative Models Chúng ta giả thiết rằng, có một tập hợp dữ liệu đã được gắn nhãn ( x1, y1 ) Trong... hình chung cho tất cả dứ liệu gắn nhãn và chưa được gắn nhãn Nhằm tìm ra môt kết quả như mong muốn 19 Semi – Superviesd learning II MỘT SỐ GIẢI THUẬT TRONG HỌC NỬA GIẤM SÁT 2.1 Generative Models 2.1.1 Giới thiệu về “Generative Models” “Generative Models” là phương pháp cố điển nhất trong semi - supervied learning Cũng như nhiều kiểu hệ thống làm mô hình, sinh sản những mô hình là những mô hình được mô... Học có giám sát (supervised learning) trong đó, thuật toán tạo ra một hàm ánh xạ dữ liệu vào tới kết quả mong muốn Một phát biểu chuẩn về một việc học có giám sát là bài toán phân loại: chương trình cần học (cách xấp xỉ biểu hiện của) một hàm ánh xạ một vector tới một vài lớp (class) bằng cách xem xét một số ví dụ mẫu dữ_liệu- kết_quả của hàm đó • Học không giám sát (unsupervised learning) mô hình... ảnh đang được tìm hiểu và phát triển thêm để có được kết quả cuối cùng II HƯỚNG PHÁT TRIỂN Semi – superviesd là phương pháp học tốn ít thời gian và dảm bảo tối đa hiệu quả công việc Nó là sự kết hợp của “học không có giám sát” và “học có giám sát”, vì vậy rất thích hợp để xử lý vào các bài toán thực tế Semi – superviesd cùng với các mô hình mạng noron, SVM… là lĩnh vực đang được nghiên cứu rất nhiều... không có giám sát cũng hữu ích cho việc nén dữ liệu: về cơ bản, mọi giải thuật nén dữ liệu hoặc là dựa vào một phân bố xác suất trên một tập đầu vào một cách tường minh hay không tường minh 18 Semi – Superviesd learning 1.2 Khái niệm về học nửa giám sát Trong “học có giám sát”, các dữ liệu được gắn nhãn nên việc giải quyết vấn đề thường là thuận lợi hơn rất nhiều Tuy nhiên, với một số lượng dữ liệu lớn . GIÁM SÁT (Semi- supervised learning ) I. TỔNG QUAN 1.1 Giới thiệu về học có giám sát (supervised learning) và không có giám sát (unsupervised learning) . Semi – Superviesd learning Semi – supervised learning Information Chương I: GIỚI THIỆU VỀ MÁY HỌC ( Machine learning