Hình 2 .3 Cây quyết định cho việc chơi tenis
Hình 2.4 Mơ hình Random Forest
Random Forest rất đơn giản và linh hoạt, cĩ thể áp dụng cho cả bài tốn Phân loại (Classification) và bài tốn Hồi quy (Regression). Do cũng là một trong chuỗi thuật tốn Decision tree nên ta cĩ thể dùng Random Forest để xây dựng một mơ hình dự đốn hành vi. Thuật tốn sẽ sinh ra các cây với các nút (internal node) tương ứng với một biến, các nút thấp hơn là giá trị dự đốn của biến mục tiêu; sau khi lựa chọn biến thuật tốn sẽ nhận biết biến đĩ dựa trên thuộc tính của nĩ và đưa ra câu hỏi phù hợp nhất, câu hỏi tốt sẽ đưa ra 2 nhánh là 2 nốt thấp hơn, rồi lại dựa vào thuộc tính để hỏi tiếp. Khi khơng cịn đưa ra được câu hỏi nữa thuật tốn sẽ dừng lại, tới đây quá trình xây dựng cây quyết định đã xong, bước tiếp theo sẽ sử dụng chúng để đưa ra kết quả phù hợp với yêu cầu đưa ra ban đầu.
Thuật tốn cĩ lợi thế khi sử dụng rất nhiều các cây quyết định độc lập, đảm bảo tính khách quan cho các kết quả dự đốn. Khi kết thúc quá trình bỏ phiếu cho các kết quả, kết quả nào cĩ số cây dự đốn cao nhất sẽ được chọn. ngồi ra để đảm bảo kết quả là khách quan nhất, thuật tốn sẽ tự động thay đổi đối tượng một cách ngẫu nhiên, xĩa ngẫu nhiên và nhân lên ngẫu nhiên một số đối tượng khác. Quá trình đĩ cĩ tên là Bootstrapping, ngồi ra nếu câu hỏi tốt nhất được thuật tốn đưa ra mà ta khơng sử dụng chúng thì sẻ bị bỏ qua và khơng được tạo cây, quá trình tiếp theo này gọi là Attibute sampling.