Khác với phương pháp Bagging, xây dựng bộ kiểu tấn cơng kết hợp với các ví dụ huấn luyện cĩ trọng số bằng nhau, phương pháp Boosting xây dựng bộ kiểu tấn cơng kết hợp với các ví dụ huấn luyện cĩ trọng số khác nhau. Sau mỗi bước lặp, các ví dụ huấn luyện được dự đốn sai sẽ được đánh trọng số tăng lên, các ví dụ huấn luyện được dự đốn đúng sẽ được đánh trọng số nhỏ hơn. Điều này giúp cho Boosting tập trung vào cải thiện độ chính xác cho các ví dụ được dự đốn sai sau mỗi bước lặp. Hình 8 mơ tả chi tiết kỹ thuật này.
Một thuật tốn Boosting ban đầu được định nghĩa là một thuật tốn dùng để chuyển một thuật tốn máy học yếu thành một thuật tốn máy học mạnh. Cĩ nghĩa là nĩ chuyển một thuật tốn máy học giải quyết một bài tốn kiểu tấn cơng nhị phân tốt hơn cách giải chọn ngẫu nhiên thành một thuật tốn giải quyết rất tốt bài tốn đĩ. Thuật tốn Boosting ban đầu của Schapire là một thuật tốn đệ quy. Tại bước cuối của đệ quy, nĩ kết hợp các giả thuyết được tạo bởi thuật tốn máy học yếu. Xác suất lỗi của bộ kết hợp này được chứng minh là nhỏ hơn xác suất lỗi của các giả thuyết yếu.
Adaboost là một thuật tốn kết hợp một tập các bộ kiểu tấn cơng được làm đa dạng bằng việc chạy thuật tốn máy học với phân bố khác nhau trên Tập dữ liệu huấn luyện.
2.1.2.3. Stacking
Stacking là một cách để kết hợp nhiều mơ hình, giới thiệu khái niệm bộ kiểu tấn cơng meta. Nĩ ít được sử dụng rộng rãi hơn so với Bagging và Boosting. Khơng
giống như Bagging và Boosting, Stacking cĩ thể được sử dụng để kết hợp các mơ hình khác nhau. Quá trình thực hiện như sau:
(1). Chia Tập dữ liệu huấn luyện thành hai bộ tách rời. (2). Huấn luyện các bộ kiểu tấn cơng cơ sở ở phần đầu. (3). Kiểm tra bộ kiểu tấn cơng cơ sở ở phần thứ hai.
(4). Sử dụng kết quả dự đốn ở (3) như là đầu vào và kết quả kiểu tấn cơng đúng như là kết quả đầu ra để huấn luyện một bộ kiểu tấn cơng meta (Meta - Classifier). Trong Stacking, cơ chế kết hợp là đầu ra của các bộ kiểu tấn cơng (các bộ kiểu tấn cơng cấp 0) sẽ được sử dụng làm dữ liệu huấn luyện cho một bộ kiểu tấn cơng khác (bộ kiểu tấn cơng cấp 1) để cho ra kết quả dự báo đúng nhất. Về cơ bản, chúng ta cho phép bộ kiểu tấn cơng cấp 1 (bộ kiểu tấn cơng meta) tự tìm ra cơ chế kết hợp tốt nhất các bộ kiểu tấn cơng cấp 0. Hình 2.8 mơ tả chi tiết kỹ thuật này, kết quả dự đốn ở các bộ kiểu tấn cơng cơ sở Pi (i=1, 2, …, m) như là đầu vào của bộ kiểu tấn cơng meta và kết quả kiểu tấn cơng đúng như là kết quả đầu ra để huấn luyện bộ kiểu tấn cơng meta (Meta - Classifier).