Chapter 8 – visualizing model performance

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Bài tập lớn Khai phá dữ liệu Tên đề tài Chapter 8 – Visualizing Model Performance GVHD Lê Chí Ngọc Mục lục Mở đầu 1 Xếp hạng thay vì phân lớp 3 Đường cong lợi nhuận 5 B[.]

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI  Bài tập lớn: Khai phá liệu Tên đề tài: Chapter – Visualizing Model Performance GVHD: Lê Chí Ngọc Mục lục Mở đầu Xếp hạng thay phân lớp Đường cong lợi nhuận Biểu đồ đường cong ROC Các phản ứng tích lũy đường cong nâng 12 Ví dụ: Phân tích hiệu cho mơ hình sóng 15 Tổng kết 23 Đây chương thứ sách “Data Science for Business” , chương ta phân tích đặc điểm mơ hình đủ tốt, biết phương pháp đánh giá đây, ta sâu vào việc biểu diễn kết đánh giá mơ hình Chương mang đến khái niệm, cách thức mang tính hàn lâm với xác tốn học song khó để nắm bắt, với người làm quen với khoa học liệu Cũng tính hàn lâm, chuyên sâu nó, khách hàng bạn, doanh nhân, vốn khơng có tí kiến thức khoa học liệu gần khơng có cách để hiểu không thuyết phục Họ muốn báo cáo với số, đồ thị với màu sắc chức mô phỏng, không dễ dàng quan sát trực quan mà dễ sử dụng Do đó, nội dung chương giới thiệu sô phương pháp biểu diễn trực quan kết mơ hình mà người khơng có kiến thức chun sâu hiểu Ranking Instead of Classifying – Xếp hạng thay phân lớp Nếu trang 194 thảo luận cách điểm số định mơ hình sử dụng để tính tốn mang tính định cho trường hợp riêng dựa giá trị dự kiến Một chiến lược khác để đưa định xếp hạng trường hợp theo điểm số sau thực hành động trường hợp đầu danh sách xếp hạng Thay định riêng trường hợp, chúng tơi định lấy n trường hợp hàng đầu (hoặc tất trường hợp đạt điểm ngưỡng định) Có số lý thực tế để làm điều Có thể mơ hình đưa điểm số xếp hạng trường hợp theo khả thuộc loại lợi ích họ, khơng phải xác suất thực (nhớ lại thảo luận Chương khoảng cách từ biên phương thức phân loại) Quan trọng hơn, số lý do, chúng tơi khơng có ước tính xác suất xác từ phân loại Điều xảy ra, ví dụ ứng dụng tiếp thị đổi tượng mục tiêu người ta có mẫu đào tạo đại diện đầy đủ Điểm số phân loại hữu ích để định khách hàng tiềm tốt người khác, ước tính xác suất 1% khơng xác tương ứng với xác suất trả lời 1% Một tình phổ biến nơi bạn có ngân sách cho hành động, chẳng hạn ngân sách tiếp thị cố định cho chiến dịch bạn muốn nhắm mục tiêu đến ứng cử viên triển vọng Nếu người nhắm mục tiêu trường hợp giá trị dự kiến cao cách sử dụng chi phí lợi ích khơng đổi cho lớp, trường hợp xếp hạng theo khả lớp mục tiêu đủ Khơng có nhu cầu lớn để quan tâm đến ước tính xác suất xác Nhắc nhở ngân sách đủ nhỏ để hành động không vào lãnh thổ dự kiến tiêu cực Bây giờ, chúng tơi coi nhiệm vụ người ngành Cũng chi phí lợi ích định xác, nhiên muốn thực hành động (và vui làm trường hợp có khả cao nhất) Chúng tơi quay lại tình phần Khi làm việc với trình phân loại cho điểm cho trường hợp, số trường hợp, định phân loại phải thận trọng, tương ứng với thực tế trình phân loại phải có độ chắn cao trước thực hành động tích cực Điều tương ứng với việc sử dụng ngưỡng cao cho điểm đầu Ngược lại, số trường hợp, phân loại bớt nghiêm ngặt hơn, tương ứng với việc hạ thấp ngưỡng Điều đưa phức tạp mà cần mở rộng khung phân tích để đánh giá so sánh mơ hình The Confusing Matrix trang 189 nói phân loại tạo ma trận nhầm lẫn Với phân loại xếp hạng, phân loại cộng với ngưỡng tạo ma trận nhầm lẫn Bất ngưỡng thay đổi, ma trận nhầm lẫn thay đổi số lượng dương thực dương tính giả thay đổi Hình 8.1 minh họa ý tưởng Khi ngưỡng hạ xuống, giả định di chuyển từ hàng N vào hàng Y ma trận nhầm lẫn: trường hợp coi âm phân loại dương, đó, số lượng thay đổi Việc thay đổi số lượng phụ thuộc vào số lượng thật ví dụ Nếu ví dụ dương (trong cột pv Pv) di chuyển lên trở thành dương thực (Y, p) Nếu âm (n), trở thành dương tính giả (Y, n) Về mặt kỹ thuật, ngưỡng khác tạo phân loại khác nhau, biểu thị ma trận nhầm lẫn Điều khiến có hai câu hỏi: làm để so sánh thứ hạng khác nhau? Và, làm để chọn ngưỡng thích hợp? Nếu ước tính xác suất cách xác ma trận lợi ích chi phí xác định rõ, chúng tơi trả lời câu hỏi thứ hai thảo luận giá trị dự kiến: xác định ngưỡng mà lợi nhuận dự kiến cao mức mong muốn (thường 0) Hãy khám phá mở rộng ý tưởng Profit Curves – Đường cong lợi nhuận Từ giới thiệu trang 194 biết cách tính tốn lợi nhuận dự kiến vừa giới thiệu ý tưởng sử dụng mơ hình để xếp hạng trường hợp Chúng ta kết hợp ý tưởng để xây dựng hình ảnh hiệu suất khác dạng đường cong Mỗi đường cong dựa ý tưởng kiểm tra ảnh hưởng ngưỡng phân loại điểm liên tiếp, ngầm định chia danh sách trường hợp thành tập hợp trường hợp dự đốn âm tính dương tính Khi di chuyển ngưỡng xuống xuống xếp hạng, nhận trường hợp bổ sung dự đoán tích cực thay tiêu cực Mỗi ngưỡng, tức là, tích cực tiêu cực dự đốn, có ma trận nhầm lẫn tương ứng Chương trước cho thấy có ma trận nhầm lẫn, với kiến thức chi phí lợi ích định, tạo giá trị mong đợi tương ứng với ma trận nhầm lẫn Cụ thể hơn, với trình phân loại xếp hạng, tạo danh sách trường hợp điểm số dự đoán chúng, xếp hạng cách giảm điểm sau đo lường lợi nhuận dự kiến có từ việc chọn điểm cắt liên tiếp danh sách Về mặt khái niệm, số tiền để xếp hạng danh sách trường hợp theo điểm từ cao đến thấp quét qua nó, ghi lại lợi nhuận dự kiến sau trường hợp Tại điểm giới hạn, ghi lại tỷ lệ phần trăm danh sách dự đoán dương lợi nhuận ước tính tương ứng Vẽ đồ thị cho giá trị cho đường cong lợi nhuận Ba đường cong lợi nhuận hiển thị Hình 8-2 Biểu đồ dựa thử nghiệm gồm 1.000 người tiêu dùng Nói, nhóm người ngẫu nhiên nhỏ mà bạn thử nghiệm thị trường trước (Khi diễn giải kết quả, thơng thường nói tỷ lệ phần trăm người tiêu dùng, để tổng quát hóa cho toàn dân số.) Đối với đường cong, người tiêu dùng đặt hàng từ xác suất cao đến thấp chấp nhận đề nghị dựa số mơ hình Trong ví dụ này, để Giả sử biên lợi nhuận nhỏ: đề nghị tốn đô la để thực tiếp thị, đề nghị chấp nhận kiếm đô la, cho lợi nhuận la Do đó, ma trận chi phí là: Các đường cong cho thấy lợi nhuận tiêu cực lúc được, chúng phụ thuộc vào chi phí tỷ lệ lớp Đặc biệt, điều xảy biên lợi nhuận mỏng số lượng người trả lời ít, đường cong cho thấy bạn vào Red làm việc xa danh sách đưa lời đề nghị cho nhiều người không phản hồi , chi nhiều cho chi phí cung cấp Lưu ý tất bốn đường cong bắt đầu kết thúc điểm Điều có ý nghĩa vì, phía bên trái, khơng có khách hàng nhắm mục tiêu khơng có chi phí lợi nhuận khơng; phía bên phải người nhắm mục tiêu, phân loại thực Ở giữa, thấy số khác biệt tùy thuộc vào cách phân loại đặt hàng khách hàng Trình phân loại ngẫu nhiên thực chí có hội chọn người trả lời người không trả lời Trong số phân loại thử nghiệm đây, Phân loại có nhãn tạo lợi nhuận tối đa 200 đô la cách nhắm mục tiêu 50% người tiêu dùng xếp hạng hàng đầu Nếu mục tiêu bạn đơn giản tối đa hóa lợi nhuận bạn có nguồn lực không giới hạn, bạn nên chọn Phân loại 2, sử dụng để ghi điểm số lượng khách hàng bạn nhắm mục tiêu nửa (50% cao nhất) khách hàng danh sách Bây xem xét tình khác phổ biến bạn bị ràng buộc ngân sách Bạn có sẵn khoản tiền cố định bạn phải lên kế hoạch chi tiêu trước bạn thấy lợi nhuận Điều phổ biến tình chiến dịch tiếp thị Như trước đây, bạn muốn nhắm mục tiêu đến người xếp hạng cao nhất, bạn có ràng buộc ngân sách ảnh hưởng đến chiến lược bạn Giả sử bạn có 100.000 tổng số khách hàng ngân sách 40.000 đô la cho chiến dịch tiếp thị Bạn muốn sử dụng kết mơ hình hóa (các đường cong lợi nhuận Hình 8-2) để tìm cách tốt để chi tiêu ngân sách bạn Bạn làm trường hợp này? Vâng, bạn tìm có đề nghị bạn đủ khả để thực Mỗi ưu đãi có giá $ để bạn nhắm mục tiêu tối đa $ 40.000 / $ = 8.000 khách hàng Như trước đây, bạn muốn xác định khách hàng có khả đáp ứng nhiều nhất, mơ hình xếp hạng khách hàng khác Mơ hình bạn nên sử dụng cho chiến dịch này? 8.000 khách hàng 8% tổng số khách hàng bạn, kiểm tra đường cong hiệu suất x = 8% Mơ hình hoạt động tốt điểm hiệu suất Phân loại Bạn nên sử dụng để ghi điểm cho tồn dân số, sau gửi đề nghị cho 8.000 khách hàng xếp hạng cao Tóm lại, từ kịch này, thấy việc thêm ràng buộc ngân sách gây không thay đổi điểm hoạt động (nhắm mục tiêu 8% dân số thay 50%) mà thay đổi lựa chọn phân loại để thực xếp hạng ROC Graphs and Curves – Biểu đồ đường cong ROC Đường cong lợi nhuận phù hợp bạn biết chắn điều kiện theo phân loại sử dụng Cụ thể, có hai điều kiện quan trọng việc tính tốn lợi nhuận: Các lớp ưu tiên; tỷ lệ trường hợp tích cực tiêu cực dân số mục tiêu, gọi tỷ lệ sở (thường đề cập đến tỷ lệ tích cực) Hãy nhớ lại phương trình 7-2 nhạy cảm với p (p) p (n) Các chi phí lợi ích Lợi nhuận dự kiến đặc biệt nhạy cảm với mức chi phí lợi ích tương đối cho ô khác ma trận lợi ích chi phí Nếu hai lớp ưu tiên ước tính lợi ích chi phí biết dự kiến ổn định, đường cong lợi nhuận lựa chọn tốt để hình dung hiệu suất mơ hình Tuy nhiên, nhiều lĩnh vực, điều kiện không chắn không ổn định Ví dụ, lĩnh vực phát gian lận, số lượng gian lận thay đổi từ nơi sang nơi khác từ tháng sang tháng khác (Leigh, 1995; Fawcett & Provost, 1997) Số lượng gian lận ảnh hưởng đến linh mục Trong trường hợp quản lý dịch vụ điện thoại di động, chiến dịch tiếp thị có ngân sách khác ưu đãi có chi phí khác nhau, điều thay đổi chi phí dự kiến Một cách tiếp cận để xử lý điều kiện khơng chắn tạo nhiều tính tốn lợi nhuận dự kiến khác cho mơ hình Điều khơng thỏa đáng lắm: mơ hình, linh mục lớp chi phí định nhân lên theo mức độ phức tạp Điều thường để lại cho nhà phân tích chồng đồ thị lợi nhuận lớn, khó quản lý, khó hiểu ý nghĩa khó giải thích cho bên liên quan Một cách tiếp cận khác sử dụng phương pháp khắc phục khơng chắn cách hiển thị tồn khơng gian khả thực Một phương pháp biểu đồ Đặc tính hoạt động người nhận (ROC) (Swets, 1988; Swets, Dawes, & Monahan, 2000; Fawcett, 2006) Biểu đồ ROC biểu đồ hai chiều phân loại có tỷ lệ dương sai trục x so với tỷ lệ dương thực trục y Như vậy, biểu đồ ROC mô tả đánh đổi tương đối mà phân loại tạo lợi ích (dương thực sự) chi phí (dương tính giả) Hình 8-3 hiển thị biểu đồ ROC với năm phân loại có nhãn từ A đến E Một phân loại rời rạc phân loại xuất nhãn lớp (trái ngược với xếp hạng) Như thảo luận, phân loại tạo ma trận nhầm lẫn, tóm tắt số thống kê định liên quan đến số lượng tỷ lệ dương tính thật, dương tính giả, âm tính thật âm tính giả Lưu ý ma trận nhầm lẫn chứa bốn số, thực cần hai số tỷ lệ: tỷ lệ dương thực tỷ lệ âm tính giả tỷ lệ dương tính giả tỷ lệ âm thực Cho số từ hai cặp tính số cịn lại cặp tổng Thông thường sử dụng tỷ lệ dương thực (tỷ lệ tp) tỷ lệ dương tính giả (tỷ lệ fp) tuân coi bảo thủ Hồi giáo: họ đưa cảnh báo (phân loại tích cực) với chứng mạnh mẽ để chúng có lỗi dương tính giả, chúng thường có tỉ lệ dương tính thật tương ứng thấp Các trình phân loại phía bên phải biểu đồ ROC coi Cách cho phép, họ tạo phân loại tích cực với chứng yếu để họ phân loại gần tất tích cực cách xác, chúng thường có tỷ lệ dương tính giả cao Trong Hình 8-3, A bảo thủ B, đến lượt lại bảo thủ C Nhiều miền giới thực bị chi phối số lượng lớn trường hợp tiêu cực (xem phần thảo luận Sid Sidebar: Bad Positives Harmless Negative âm trang 188), hiệu suất phía bên trái biểu đồ ROC thường thú vị nơi khác Nếu có nhiều ví dụ tiêu cực, chí tốc độ báo động sai vừa phải khơng thể quản lý Một mơ hình xếp hạng tạo tập hợp điểm (một đường cong) không gian ROC Như thảo luận trước đây, mơ hình xếp hạng sử dụng với ngưỡng để tạo trình phân loại (nhị phân) rời rạc: đầu trình phân loại vượt ngưỡng, trình phân loại tạo Y, khác với N Mỗi giá trị ngưỡng tạo điểm khác ROC khơng gian, Hình 8-4 11 Cumulative Response and Lift Curves – Các phản ứng tích lũy đường cong nâng Các đường cong ROC cơng cụ phổ biến để trực quan hóa hiệu suất mơ hình để phân loại, ước tính xác suất lớp tính điểm Tuy nhiên, bạn vừa trải nghiệm bạn chưa quen với tất điều này, đường cong ROC khơng phải hình ảnh trực quan cho nhiều bên liên quan kinh doanh, người thực cần phải hiểu kết Điều quan trọng nhà khoa học liệu phải nhận giao tiếp rõ ràng với bên liên quan khơng mục tiêu cơng việc ấy, mà cịn cần thiết để thực mơ hình (ngồi việc thực mơ hình) Do đó, hữu ích xem xét khung trực quan khơng có tất thuộc tính đẹp đường cong ROC, trực quan (Điều quan trọng bên liên quan kinh doanh phải nhận thuộc tính lý thuyết đơi bị hy sinh quan trọng, cần thiết số trường hợp để đưa hình ảnh phức tạp hơn.) trực quan hóa việc sử dụng đường cong phản ứng tích lũy, thay đường cong ROC Chúng có liên quan chặt chẽ, đường cong phản ứng tích lũy trực quan Đường cong phản ứng tích lũy biểu thị tỷ lệ trúng (tỷ lệ tp; trục y), tức tỷ lệ phần trăm dương phân loại xác, hàm tỷ lệ phần trăm dân số nhắm mục tiêu (trục x) Vì vậy, mặt khái niệm chuyển xuống danh sách thể xếp hạng theo mơ hình, chúng tơi nhắm mục tiêu tỷ lệ ngày lớn tất phiên Hy vọng q trình này, mơ hình tốt, đứng đầu danh sách, nhắm mục tiêu tỷ lệ lớn tích cực thực tế tiêu cực thực tế Như với đường cong ROC, đường chéo x = y biểu thị hiệu suất ngẫu nhiên Trong trường hợp này, trực giác rõ ràng: bạn nhắm mục tiêu hoàn toàn ngẫu nhiên 20% tất trường hợp, bạn nên nhắm mục tiêu 20% tích cực Bất kỳ phân loại đường chéo cung cấp số lợi 12 Theo trực giác, việc nâng phân loại thể lợi mà mang lại so với việc đốn ngẫu nhiên Thang máy mức độ mà đẩy lên trường hợp tích cực danh sách trường hợp tiêu cực Ví dụ, xem xét danh sách 100 khách hàng, nửa số khách hàng (trường hợp tích cực) nửa người không (trường hợp tiêu cực) Nếu bạn quét xuống danh sách dừng lại chừng (đại diện cho 0,5 mục tiêu), bạn thấy có tích cực nửa đầu? Nếu danh sách xếp ngẫu nhiên, bạn thấy nửa số dương (0,5), đưa mức tăng 0,5 / 0,5 = Nếu danh sách xếp theo thứ tự phân loại hiệu quả, xuất nửa số tích cực nửa danh sách, tạo lực nâng lớn Nếu trình phân loại hồn hảo, tất điểm tích cực xếp đầu danh sách, đó, điểm thấy tất chúng (1.0), đưa nâng 1.0 / 0.5 = Hình 8-6 cho thấy bốn đường cong phản ứng tích lũy mẫu Đường cong nâng thực chất giá trị đường cong phản ứng tích lũy điểm x cho chia cho giá trị đường chéo (y = x) điểm Đường chéo đường cong phản ứng tích lũy trở thành đường ngang y = đường cong nâng Đôi bạn nghe thấy tun bố mơ hình chúng tơi đưa lần nâng (hoặc gấp lần); điều có nghĩa ngưỡng chọn (thường không đề cập), đường cong thang 13 máy cho thấy việc nhắm mục tiêu mơ hình tốt gấp đơi so với ngẫu nhiên Trên đường cong phản ứng tích lũy, tốc độ tương ứng cho mơ hình gấp đôi tốc độ cho đường chéo hiệu suất ngẫu nhiên (Bạn tính tốn phiên thang máy số đường sở khác.) Đường cong thang máy vẽ đồ thị số trục y, so với phần trăm dân số nhắm mục tiêu trục x (cùng trục x với đường cong phản ứng tích lũy) Hình 8.7 biểu diễn đường cong nâng Cả hai đường cong nâng đường cong phản ứng tích lũy phải sử dụng cẩn thận tỷ lệ xác dương tính dân số khơng xác định khơng thể xác liệu thử nghiệm Không giống đường cong ROC, đường cong giả định tập kiểm tra có xác mục tiêu lớp mục tiêu giống dân số mà mơ hình áp dụng Đây giả định đơn giản hóa mà chúng tơi đề cập từ đầu, cho phép chúng tơi sử dụng hình ảnh trực quan Ví dụ, quảng cáo trực tuyến, tỷ lệ sở phản ứng quan sát quảng cáo nhỏ Một mười triệu (1: 107) bất thường Người lập mô hình khơng muốn phải quản lý liệu có mười triệu người khơng phản hồi cho phản hồi, họ lấy mẫu người khơng đáp ứng tạo 14 liệu cân để lập mơ hình đánh giá Khi trực quan hóa hiệu suất phân loại với đường cong ROC, điều khơng có hiệu lực (vì đề cập trên, trục tương ứng với tỷ lệ lớp) Tuy nhiên, đường cong phản ứng tích lũy tích lũy khác nhau, hình dạng đường cong thơng tin, mối quan hệ giá trị trục không hợp lệ Example: Performance Analytics for Churn Modeling – Phân tích hiệu cho mơ hình sóng Một số chương cuối bao gồm nhiều lãnh thổ đánh giá Chúng giới thiệu số phương pháp vấn đề quan trọng việc đánh giá mơ hình Trong phần này, chúng tơi liên kết chúng với nghiên cứu trường hợp ứng dụng để hiển thị kết phương pháp đánh giá khác Ví dụ mà chúng tơi sử dụng miền liên tục điện thoại di động Tuy nhiên, phần này, sử dụng liệu churn khác (và khó hơn) so với sử dụng chương trước Nó liệu từ thi khai thác liệu KDD Cup 2009 Chúng khơng sử dụng liệu ví dụ trước đó, Bảng 3-2 Hình 318, tên giá trị thuộc tính ẩn danh rộng rãi để bảo vệ quyền riêng tư khách hàng Điều để lại ý nghĩa thuộc tính giá trị chúng, điều cản trở thảo luận chúng tơi Tuy nhiên, chúng tơi chứng minh phân tích hiệu suất mơ hình với liệu sàng lọc Ít liệu đáng để mơ tả khử trùng kỹ lưỡng, độ lệch lớp đáng nói Có khoảng 47.000 trường hợp hồn tồn, khoảng 7% đánh dấu khuấy (ví dụ tích cực) 93% cịn lại khơng phải (phủ định) Đây khơng phải sai lệch nghiêm trọng, đáng ý lý trở nên rõ ràng Chúng 15 nhấn mạnh ý định đề xuất giải pháp tốt cho vấn đề này, đề xuất mơ hình hoạt động tốt, mà đơn giản sử dụng miền thử nghiệm để minh họa ý tưởng đánh chúng tơi phát triển Ít nỗ lực thực để điều chỉnh hiệu suất Chúng đào tạo thử nghiệm số mơ hình: phân loại, phương trình hồi quy logistic mơ hình lân cận gần Chúng tơi sử dụng trình phân loại Bayes đơn giản có tên Naive Bayes, khơng thảo luận Chương Với mục đích phần này, chi tiết mơ hình khơng quan trọng; tất mơ hình hộp đen Pháp Chúng tơi sử dụng kỹ thuật đánh giá hình dung giới thiệu chương cuối để hiểu đặc điểm chúng Hãy bắt đầu với đánh giá đỗi đơn giản có phần ngây thơ Chúng tơi luyện liệu hồn chỉnh sau thử nghiệm liệu mà chúng tơi luyện Chúng tơi đo độ xác phân loại đơn giản Các kết thể Bảng 8-1 Một số điều bật Đầu tiên, dường có phạm vi hiệu suất rộng lớn từ 76% đến 100% Ngoài ra, tập liệu có tỷ lệ sở 93%, trình phân loại đạt độ xác tối thiểu Điều làm cho kết Naive Bayes trông lạ tệ đáng kể Ngồi ra, với độ xác 100%, trình phân loại k-Recent Neighbor trơng đáng ngờ.5 Nhưng thử nghiệm thực 16 tập huấn luyện đến (đã đọc Chương 5), bạn nhận số khơng đáng tin, khơng muốn nói hồn tồn vơ nghĩa Chúng có nhiều khả dấu hiệu cho thấy phân loại ghi nhớ (overfit) tập huấn tốt thứ khác Vì vậy, thay điều tra số nữa, để bù lại đánh giá cách cách sử dụng kiểm tra huấn luyện riêng biệt Chúng tơi chia đơi liệu, thay vào đó, chúng tơi sử dụng quy trình xác thực chéo thảo luận phần Từ đánh giá giữ lại để xác thực chéo trang 126 Điều không đảm bảo phân tách liệu phù hợp mà cung cấp thước đo thay đổi kết Các kết thể Bảng 8-2 Mỗi số trung bình xác thực chéo mười lần, theo sau dấu hiệu ± độ lệch chuẩn phép đo Bao gồm độ lệch chuẩn coi loại kiểm tra độ tỉnh táo, độ lệch chuẩn lớn cho thấy kết kiểm tra thất thường, nguồn gốc vấn đề khác liệu q nhỏ mơ hình phù hợp với phần vấn đề Các số xác giảm đáng kể, ngoại trừ Naive Bayes, thấp cách kỳ lạ Độ lệch chuẩn nhỏ so với phương tiện nên khơng có nhiều thay đổi hiệu suất nếp gấp Điều tốt Ở bên phải giá trị thứ hai, Vùng bên Đường cong ROC (thường viết tắt AUC) Chúng thảo luận ngắn gọn biện pháp AUC Hồi Khu vực đường cong ROC (AUC) trang 219, lưu ý thống kê tóm tắt chung dự đốn phân 17 loại Nó thay đổi từ đến Giá trị 0,5 tương ứng với tính ngẫu nhiên (bộ phân loại khơng thể phân biệt tất dương âm) giá trị nghĩa hồn hảo việc phân biệt chúng Một lý xác số liệu gây hiểu lầm liệu bị sai lệch, (93% âm 7% dương) Hãy nhớ lại giới thiệu đường cong phù hợp trở lại Vượt mức kiểm tra trang 113 cách để phát mơ hình bị q tải Hình 8-8 cho thấy đường cong phù hợp cho mơ hình phân loại miền churn Ý tưởng mơ hình phép ngày phức tạp hơn, thường phù hợp với liệu ngày chặt chẽ hơn, số điểm, đơn giản ghi nhớ đặc điểm riêng tập huấn luyện cụ thể thay học đặc điểm chung dân số Một đường cong phù hợp biểu đồ độ phức tạp mơ hình (trong trường hợp số nút cây) so với thước đo hiệu suất (trong trường hợp AUC) cách sử dụng hai liệu: đào tạo giữ riêng Khi hiệu suất lưu trữ bắt đầu giảm, mức xảy Hình 8-8 thực tn theo mơ hình chung này.6 Cây phân loại chắn q mức, mơ hình khác có lẽ Điểm ngào điểm số mà đó, hiệu suất giữ chỗ tối đa khoảng 100 nút cây, vượt hiệu suất liệu nắm giữ bị giảm 18 Hãy để Lùi trở lại số liệu so sánh mơ hình Bảng 8-2 Các giá trị lấy từ đánh giá hợp lý cẩn thận cách sử dụng liệu giữ, chúng đáng ngờ Tuy nhiên, họ đưa số câu hỏi Có hai điều cần lưu ý giá trị AUC Một tất họ khiêm tốn Điều khơng có đáng ngạc nhiên với miền giới thực: nhiều liệu đơn giản có tín hiệu khai thác vấn đề khoa học liệu đưa sau vấn đề dễ dàng giải Sự khuấy động khách hàng vấn đề khó khăn, chúng tơi khơng nên q ngạc nhiên điểm AUC khiêm tốn Ngay điểm AUC khiêm tốn dẫn đến kết kinh doanh tốt Điểm thú vị thứ hai Naive Bayes, nhóm có độ xác thấp nhóm, có điểm AUC cao Bảng 8-2 Những xảy đây? Hãy xem ma trận nhầm lẫn mẫu Naive Bayes, với AUC cao độ xác thấp nhất, so sánh với ma trận nhầm lẫn k-NN (AUC thấp độ xác cao) tập liệu Dưới ma trận nhầm lẫn Naive Bayes: 19 ... khách hàng khác Mơ hình bạn nên sử dụng cho chiến dịch này? 8. 000 khách hàng 8% tổng số khách hàng bạn, kiểm tra đường cong hiệu suất x = 8% Mơ hình hoạt động tốt điểm hiệu suất Phân loại Bạn nên... Hình 8- 3, A bảo thủ B, đến lượt lại bảo thủ C Nhiều miền giới thực bị chi phối số lượng lớn trường hợp tiêu cực (xem phần thảo luận Sid Sidebar: Bad Positives Harmless Negative âm trang 188 ),... hình dạng đường cong thơng tin, mối quan hệ giá trị trục không hợp lệ Example: Performance Analytics for Churn Modeling – Phân tích hiệu cho mơ hình sóng Một số chương cuối bao gồm nhiều lãnh thổ