Bài giảng Khai mở dữ liệu: Phương pháp tập hợp mô hình (Ensemble-based methods)

Bài giảng Khai mở dữ liệu: Phương pháp tập hợp mô hình (Ensemble-based methods) của Đỗ Thanh Nghị trình bày về Ensemble-based; Bagging, Random forests, Boosting; kết luận và hướng phát triển.

Khoa Công Nghệ Thông Tin Trường Đại Học Cần Thơ Phương pháp tập hợp mơ hình Ensemble-based methods Đỗ Thanh Nghị dtnghi@cit.ctu.edu.vn Cần Thơ 02-12-2008 Nội dung Giới thiệu Ensemble-based Bagging, Random forests, Boosting Kết luận hướng phát triển Nội dung Giới thiệu Ensemble-based Bagging, Random forests, Boosting Kết luận hướng phát triển Giới thiệu Ensemble-based Bagging, Random forests, Boosting kết luận hướng phát triển Ensemble-based phương pháp ensemble-based xây dựng tập hợp mơ hình sở dựa tập học kết hợp mơ hình phân loại cho độ xác cao dựa sở bias/variance bagging, random forests, boosting áp dụng cho nhiều giải thuật sở khác định, SVM, naive Bayes, etc giải vấn đề phân loại, hồi quy, gom nhóm, etc cho kết tốt, nhiên khơng thể dịch kết sinh ứng dụng thành cơng hầu hết lãnh vực tìm kiếm thơng tin, nhận dạng, phân tích liệu, etc Giới thiệu Ensemble-based Bagging, Random forests, Boosting kết luận hướng phát triển Ensemble-based hiệu giải thuật học bias : thành phần lỗi độc lập với mẫu liệu học variance : thành phần lỗi biến động liên quan đến ngẫu nhiên tập học Errors E=bias2+var var bias2 Complexity Nội dung Giới thiệu Ensemble-based Bagging, Random forests, Boosting Kết luận hướng phát triển Giới thiệu Ensemble-based Bagging, Random forest, Boosting kết luận hướng phát triển Ensemble-based averaging technique averaging technique xây dựng tập hợp mơ hình sở độc lập kết hợp phân loại mơ hình bagging random forests giảm variance boosting technique xây dựng tập hợp mơ hình sở (tập trung lên lỗi sinh từ mơ hình trước) AdaBoost arcing giảm bias Giới thiệu Ensemble-based Bagging, Random forest, Boosting kết luận hướng phát triển Bagging (Breiman, 1996) Bootstrap AGGregatING từ tập học LS có N phần tử xây dựng tập hợp T mơ hình sở độc lập mơ hình thứ i xây dựng tập mẫu bootstrap bootstrap : lấy mẫu N phần tử có hồn lại từ tập LS phân loại : sử dụng majority vote hồi quy : tính giá trị trung bình dự đốn mơ hình Giới thiệu Ensemble-based Bagging, Random forest, Boosting kết luận hướng phát triển Bagging (Breiman, 1996) LS Bootstrap-1 Bootstrap-2 Bootstrap-T x ŷ1(x) hồi quy : ŷ2(x) ŷT(x) ŷ(x) = (ŷ1(x)+ŷ2(x)+…+ŷT(x))/T phân loại : ŷ(x) = bình chọn số đơng {ŷ1(x),…,ŷT(x)} Giới thiệu Ensemble-based Bagging, Random forest, Boosting kết luận hướng phát triển Random forests (Breiman, 2001) Random forests từ tập học LS có N phần tử xây dựng tập hợp T mơ hình sở độc lập mơ hình thứ i xây dựng tập mẫu bootstrap, ý - nút trong, chọn ngẫu nhiên n’ thuộc tính (n’