TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA TOÁN ỨNG DỤNG VÀ TIN HỌC ĐỀ TÀI KHAI PHÁ DỮ LIỆU Chuyên ngành TOÁN TIN Chuyên sâu Tin học Giảng viên hướng dẫn LÊ CHÍ NGỌC Sinh viên thực hiện NGUYỄN VĂN TRƯỞNG MỤ[.]
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA TOÁN ỨNG DỤNG VÀ TIN HỌC ĐỀ TÀI: KHAI PHÁ DỮ LIỆU Chuyên ngành: TOÁN TIN Chuyên sâu: Tin học Giảng viên hướng dẫn: LÊ CHÍ NGỌC Sinh viên thực hiện: NGUYỄN VĂN TRƯỞNG MỤC LỤC Chương Khái niệm khai phá liệu (Data mining) .4 Chương Ứng dụng khai phá liệu Chương 3: Quy trình khai phá liệu 15 Chương Phương pháp khai thác liệu 24 Chương Công cụ phần mềm khai thác liệu 35 Chương Các vấn đề cần giải khai phá liệu .37 KẾT LUẬN 39 Tài liệu tham khảo .40 Lời mở đầu Trong thời kì cơng nghệ 4.0, ứng dụng cơng nghệ thơng tin xem yếu tố quan trọng thúc đẩy kinh tế phát triển, giúp cho doanh nghiệp, tổ chức tăng tính cạnh tranh giao dịch dễ dàng thực mà không bị giới hạn khía cạnh địa lý Khai phá liệu vấn đề nhiều người quan tâm thời kỳ internet phát triển mạnh Với việc đánh giá, phân tích liệu, thống kê, từ đưa giải pháp, phương án nhằm hỗ trợ cho nhà quản lí, doanh nghiệp lựa chọn phương án tối ưu Ở báo cáo em xin trình bày đề tài dự báo điểm tín dụng cá nhân, qua hỗ trợ định nhà quản lí sách, ưu đãi Báo cáo ngồi phần Lời mở đầu Kết luận, gồm chương chính: Chương Khái niệm khai phá liệu (Data mining) Chương Ứng dụng khai phá liệu Chương Quy trình khai phá liệu Chương Phương pháp khai phá liệu Chương Công cụ, phầm mềm khai phá liệu Chương Các vấn đề cần giải khai phá liệu Em xin gửi lời cảm ơn sâu sắc tới thầy Lê Chí Ngọc tận tình hướng dẫn em hồn thành tập Chương Khái niệm khai phá liệu (Data mining) Trong vấn với tạp chí Computerworld vào tháng năm 1999, Tiến sĩ Arno Penzias (người đoạt giải Nobel cựu giám đốc nhà khoa học Bell Labs) xác định khai thác liệu từ sở liệu tổ chức ứng dụng cho tập đồn tương lai gần Để trả lời cho câu hỏi lâu đời Computerworld, câu hỏi ứng dụng giết người tập đồn gì? Tiến sĩ Penzias trả lời: Khai thác liệu mạng Sau ơng nói thêm, khai thác liệu trở nên quan trọng nhiều công ty không vứt bỏ điều khách hàng họ có giá trị Nếu bạn khơng làm việc này, bạn không hoạt động Tương tự, viết Harvard Business Review, Thomas Davenport (2006) lập luận vũ khí chiến lược cho cơng ty định phân tích, cung cấp ví dụ cơng ty Amazon.com, Capital One, Marriott Quốc tế người khác sử dụng phân tích để hiểu rõ khách hàng họ tối ưu hóa nguồn cung mở rộng họ chuỗi để tối đa hóa lợi tức đầu tư họ cung cấp dịch vụ khách hàng tốt Mức độ thành công cao phụ thuộc vào công ty hiểu khách hàng, nhà cung cấp, quy trình kinh doanh chuỗi cung ứng mở rộng tốt Một phần lớn hiểu biết khách hàng, đến từ việc phân tích lượng liệu khổng lồ cơng ty thu thập Chi phí lưu trữ xử lý liệu giảm đáng kể thời gian gần đó, lượng liệu lưu trữ dạng điện tử tăng với tốc độ bùng nổ Với việc tạo sở liệu lớn, khả phân tích liệu lưu trữ chúng xuất Thuật ngữ khai thác liệu ban đầu sử dụng để mô tả q trình thơng qua mẫu chưa biết trước liệu phát Định nghĩa kéo dài vượt giới hạn số nhà cung cấp phần mềm để bao gồm hầu hết hình thức phân tích liệu để tăng doanh số với phổ biến nhãn khai thác liệu Trong chương này, chấp nhận định nghĩa ban đầu khai thác liệu Mặc dù thuật ngữ khai thác liệu tương đối mới, ý tưởng đằng sau khơng Nhiều kỹ thuật sử dụng khai thác liệu có nguồn gốc từ phân tích thống kê truyền thống cơng việc trí tuệ nhân tạo thực từ đầu năm 1980 Tại sao, sau nhận ý giới kinh doanh? Sau số lý rõ rệt nhất: Cạnh tranh khốc liệt quy mơ tồn cầu khách hàng thúc đẩy nhu cầu mong muốn thay đổi thị trường ngày bão hòa Nhận biết chung giá trị chưa khai thác ẩn nguồn liệu lớn Hợp tích hợp ghi sở liệu, cho phép nhìn khách hàng, nhà cung cấp, giao dịch, v.v Hợp sở liệu kho liệu khác vào vị trí dạng liệu kho Sự gia tăng theo cấp số nhân công nghệ xử lý lưu trữ liệu Giảm đáng kể chi phí phần cứng phần mềm cho việc lưu trữ xử lý liệu Chuyển sang hướng khử khối (chuyển đổi tài nguyên thông tin thành dạng phi vật lý) thực tiễn kinh doanh Dữ liệu Internet tạo tăng nhanh khối lượng độ phức tạp Một lượng lớn liệu genomic tạo tích lũy tồn giới Các ngành thiên văn học vật lý hạt nhân tạo lớn số lượng liệu cách thường xuyên Các nhà nghiên cứu y học dược phẩm liên tục tạo lưu trữ liệu sau sử dụng ứng dụng khai thác liệu để xác định cách tốt để chẩn đốn điều trị xác bệnh khám phá thuốc cải tiến Về mặt thương mại, có lẽ việc sử dụng khai thác liệu phổ biến lĩnh vực tài chính, bán lẻ chăm sóc sức khỏe ngành Khai thác liệu sử dụng để phát giảm hoạt động gian lận, đặc biệt yêu cầu bảo hiểm sử dụng thẻ tín dụng (Chan cộng sự, 1999); để xác định mơ hình mua hàng khách hàng (Hoffman, 1999); để địi lại khách hàng có lợi nhuận (Hoffman, 1998); để xác định quy tắc giao dịch từ liệu lịch sử; để hỗ trợ tăng lợi nhuận cách sử dụng phân tích rổ thị trường Dữ liệu khai thác sử dụng rộng rãi để nhắm mục tiêu tốt cho khách hàng với phát triển rộng rãi thương mại điện tử, điều trở nên cấp bách với thời gian Xem Trường hợp ứng dụng 4.1 để biết thông tin cách Infinity P & C sử dụng dự đốn phân tích khai thác liệu để cải thiện dịch vụ khách hàng, chống gian lận tăng lợi nhuận Trường hợp ứng dụng 4.1 Bảo hiểm thông minh hơn: Infinity P & C cải thiện dịch vụ khách hàng chống lại gian lận với phân tích dự đốn Infinity Property & Casualty Corporation, nhà cung cấp bảo hiểm ô tô cá nhân khơng đạt tiêu chuẩn, tập trung vào trình điều khiển rủi ro cao hơn, phụ thuộc vào khả để xác định khiếu nại gian lận cho lợi nhuận bền vững Kết việc thực cơng cụ phân tích (từ IBM SPSS), Infinity P & C tăng gấp đơi độ xác nhận dạng gian lận nó, góp phần mang lại lợi nhuận đầu tư 403 phần trăm cho nghiên cứu Nucleus Research Và lợi ích khơng thể dừng lại đó: Theo Bill Dibble, phó chủ tịch cấp cao Claims Operations Infinity P & C, việc sử dụng phân tích dự đốn việc phục vụ cơng ty người u cầu hợp pháp có tầm quan trọng tương đương chí lớn Ban đầu, Dibble tập trung sức mạnh phân tích dự đoán (nghĩa khai thác liệu) để hỗ trợ công ty điều tra đặc biệt đơn vị (SIU) Trong ngày đầu SIU, người điều chỉnh sử dụng thẻ nhiều lớp với flags cờ đỏ để gian lận tiềm ẩn Lấy cờ đỏ đó, quảng cáo phát triển quy tắc dường khu vực treo trái thấp, nơi nhanh chóng chứng minh lợi ích khoản đầu tư chúng tơi vào phân tích dự đốn Dibble sau tận dụng cách tiếp cận thành công từ phần khác doanh nghiệp Chúng tơi nhận tín dụng quan trọng lĩnh vực bảo lãnh phát hành, nghĩ, ‘Hãy để điểm số theo cách tương tự, để cung cấp cho số gian lận tiềm tàng Con số chúng tơi đính kèm vào vụ án lớn, chúng tơi có nhiều tình lừa đảo Số thấp hơn, nhận yêu cầu trả tiền Dibble lưu ý gian lận thể mức tiếp xúc 20 tỷ đô la ngành bảo hiểm số địa điểm định yếu tố khoảng 40 phần trăm yêu cầu bồi thường Một lợi ích quan trọng hệ thống SPSS IBM khả liên tục phân tích ghi điểm tuyên bố này, điều giúp đảm bảo chúng tơi có u cầu người điều chỉnh phù hợp vào thời điểm, ơng nói Thêm Tony Smarrelli, phó chủ tịch điều hành quốc gia: Báo cáo ngành cơng nghiệp ước tính năm tun bố hoàn toàn Lừa đảo lừa đảo hội, đó phóng đại thương tích thiệt hại xe cộ, vịng tội phạm cốt lõi làm việc với phòng khám luật sư phi đạo đức Thay đưa năm khách hàng qua quy trình điều tra, SPSS giúp theo dõi nhanh bốn số họ đóng vụ kiện họ vịng vài ngày Kết hạnh phúc nhiều khách hàng, đóng góp cho quy trình làm việc hiệu với thời gian chu kỳ cải thiện cải thiện khả trì tổng thể yêu cầu kinh nghiệm tốt Một lợi ích bất ngờ Dibble thấy thay thế, trình thu thập thiệt hại từ cơng ty bảo hiểm lái xe có lỗi, phần khác trái treo thấp anh Trong tháng sử dụng SPSS, Infinity P & C thấy phục hồi kỷ lục có vụ va chạm phải trả tiền, thêm khoảng triệu la trực tiếp vào dịng công ty loại bỏ phí thu bên thứ ba 70.000 la tháng mà công ty sử dụng để tốn Thêm nữa, tháng sau chí cịn tốt trước Tơi khơng nghĩ phục hồi số tiền mà thu hồi với SPSS khu vực thay thế, anh nói Đó bất ngờ thực cho chúng tơi Nó mang lại nhiều ý cho SPSS công ty, giá trị phân tích dự đốn nói chung Giải pháp IBM SPSS dựa quy tắc phù hợp với doanh nghiệp Infinity P & C, Ví dụ: tiểu bang khơng có lỗi lợi ích, cơng ty bảo hiểm phục hồi xe thương mại xe tổng trọng lượng xe định "Chúng ta đưa quy tắc IBM SPSS chi phí y tế trả cho yêu cầu liên quan đến loại phương tiện này, đề cập đến phận thay thế, Giáo sư giải thích Dibble Đây khả thời gian thực giúp khơng bị tích hội thay có giá trị, điều xảy nhiều dựa vào trực giác điều chỉnh Các quy tắc quan trọng phía điều tra gian lận Tiếp tục Dibble: Tuy Nếu thấy tai nạn xảy khoảng 1:00 sáng liên quan đến khu ngoại ô GMC gây khó chịu, cần bắt đầu tìm kiếm gian lận Vì vậy, chúng tơi đào chút sâu hơn: Có phải anh chàng đảo lộn khoản vay mình, nợ nhiều tiền xe có giá trị? Có phải tai nạn xảy nơi xa xôi, cho thấy dàn dựng? Liệu cá nhân di chuyển thường xuyên liệt kê nhiều địa chỉ? Khi yếu tố thêm vào phương trình, điểm số tiếp tục tăng trường hợp ngày có nhiều khả giới thiệu đến điều tra viên SIU Với SPSS, Infinity P & C giảm thời gian giới thiệu SIU từ trung bình 45 Lần60 xuống cịn khoảng Lần3, có nghĩa nhà điều tra làm việc vụ án trước ký ức câu chuyện bắt đầu thay đổi, cho thuê lưu trữ phí gắn kết, khả có luật sư tham gia tăng lên Công ty tạo yêu cầu tốt để SIU điều tra; điểm cao tương quan với xác suất gian lận cao Gửi phản hồi, lịch sử, lưu, cộng đồng Chương Ứng dụng khai phá liệu Khai thác liệu trở thành công cụ phổ biến để giải nhiều vấn đề hội kinh doanh phức tạp Nó chứng minh thành cơng hữu ích nhiều lĩnh vực, số thể đại diện sau ví dụ Mục tiêu nhiều ứng dụng khai thác liệu kinh doanh giải vấn đề cấp bách khám phá hội kinh doanh để tạo lợi cạnh tranh bền vững Quản lý quan hệ khách hàng Quản lý quan hệ khách hàng (CRM) mở rộng truyền thống tiếp thị Mục tiêu CRM tạo mối quan hệ trực tiếp với khách hàng cách phát triển thân mật hiểu nhu cầu mong muốn họ Khi doanh nghiệp xây dựng mối quan hệ với khách hàng họ theo thời gian thông qua nhiều tương tác (ví dụ: yêu cầu sản phẩm, bán hàng, yêu cầu dịch vụ, gọi bảo hành, sản phẩm đánh giá, kết nối phương tiện truyền thông xã hội), họ tích lũy lượng liệu khổng lồ Khi kết hợp với thuộc tính nhân học kinh tế xã hội, liệu giàu thơng tin sử dụng để (1) xác định nhiều khả người trả lời / người mua sản phẩm / dịch vụ (nghĩa là, hồ sơ khách hàng); (2) hiểu nguyên nhân gốc rễ tiêu hao khách hàng để cải thiện khả giữ chân khách hàng (nghĩa phân tích khuấy đảo); (3) khám phá biến đổi thời gian sản phẩm dịch vụ để tối đa hóa doanh số giá trị khách hàng; (4) xác định nhiều khách hàng có lợi nhuận nhu cầu ưu đãi họ để tăng cường mối quan hệ để tối đa hóa doanh số Ngân hàng Khai thác liệu giúp ngân hàng sau: (1) tự động hóa quy trình đăng ký khoản vay cách dự đốn xác mặc định xảy nhất; (2) phát thẻ tín dụng gian lận ngân hàng trực tuyến giao dịch; (3) xác định cách để tối đa hóa giá trị khách hàng cách bán cho họ sản phẩm dịch vụ mà họ có nhiều khả mua nhất; (4) tối ưu hóa lợi nhuận tiền mặt cách dự báo xác dịng tiền vào ngân hàng thực thể (ví dụ: máy ATM, chi nhánh ngân hàng) Bán lẻ hậu cần Trong ngành bán lẻ, khai thác liệu sử dụng để (1) dự đoán khối lượng bán hàng xác địa điểm bán lẻ cụ thể để xác định mức tồn kho xác; (2) xác định mối quan hệ bán hàng sản phẩm khác (với phân tích giỏ thị trường) để cải thiện cách bố trí cửa hàng tối ưu hóa chương trình khuyến bán hàng; (3) dự báo mức tiêu thụ loại sản phẩm khác (dựa điều kiện môi trường mùa vụ) để tối ưu hóa hậu cần và, đó, tối đa hóa doanh số; (4) khám phá mơ hình thú vị chuyển động sản phẩm (đặc biệt sản phẩm có hạn sử dụng chúng dễ bị hết hạn, dễ hỏng nhiễm bẩn) chuỗi cung ứng cách phân tích liệu cảm giác RFID Sản xuất sản xuất Các nhà sản xuất sử dụng khai thác liệu để (1) dự đốn lỗi máy móc trước họ xảy thông qua việc sử dụng liệu cảm giác (cho phép gọi bảo trì dựa điều kiện); (2) xác định bất thường tương đồng hệ thống sản xuất để tối ưu hóa lực sản xuất; (3) khám phá mơ hình lạ để xác định cải thiện chất lượng sản phẩm Môi giới giao dịch chứng khốn Các nhà mơi giới thương nhân sử dụng khai thác liệu để (1) dự đoán giá trái phiếu định thay đổi; (2) dự báo phạm vi hướng biến động cổ phiếu; (3) đánh giá hiệu vấn đề kiện cụ thể diễn biến thị trường nói chung; (4) xác định ngăn chặn hoạt động gian lận giao dịch chứng khoán Bảo hiểm Ngành bảo hiểm sử dụng kỹ thuật khai thác liệu để (1) dự báo số tiền yêu cầu bồi thường cho tài sản chi phí bảo hiểm y tế để lập kế hoạch kinh doanh tốt hơn; (2) xác định kế hoạch tỷ lệ tối ưu dựa phân tích khiếu nại liệu khách hàng; (3) dự đoán khách hàng có nhiều khả mua sách đặc biệt đặc trưng; (4) xác định ngăn 10 ... tài dự báo điểm tín dụng cá nhân, qua hỗ trợ định nhà quản lí sách, ưu đãi Báo cáo phần Lời mở đầu Kết luận, gồm chương chính: Chương Khái niệm khai phá liệu (Data mining) Chương Ứng dụng. .. giới Các ngành thiên văn học vật lý hạt nhân tạo lớn số lượng liệu cách thường xuyên Các nhà nghiên cứu y học dược phẩm liên tục tạo lưu trữ liệu sau sử dụng ứng dụng khai thác liệu để xác định cách... trình đăng ký khoản vay cách dự đốn xác mặc định xảy nhất; (2) phát thẻ tín dụng gian lận ngân hàng trực tuyến giao dịch; (3) xác định cách để tối đa hóa giá trị khách hàng cách bán cho họ sản phẩm