BÁO cáo môn h c ọ TECHNICAL WRITING AND PRESENTATION đề tài INTRODUCTION TO DATA MINING

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC  BÁO CÁO MÔN HỌC TECHNICAL WRITING AND PRESENTATION Đề tài: INTRODUCTION TO DATA MINING Giáo viên hướng dẫn: Ts.Lê Chí Ngọc Nhóm thực Nhóm 10 : Họ tên MSSV Hà Văn Học 20180264 Phạm Đức Anh 20180262 Nguyễn Thị Ngọc Huyền 20173533 Hà Nội, 06/01/22 MỤC LỤC Mục tiêu học tập Phạm vi khai thác liệu Khám phá giảm thiểu liệu .8 Lấy mẫu Ví dụ Sử dụng XLMiner để lấy mẫu từ trang tính Trực quan hóa liệu 10 Ví dụ Một Boxplot cho Dữ liệu rủi ro tín dụng (Credit Risk Data) .11 Ví dụ Một biểu đồ tọa độ song song cho Dữ liệu rủi ro tín dụng 13 Ví dụ Ma trận phân tán cho liệu rủi ro tín dụng .14 Ví dụ Một biểu đồ biến đổi Dữ liệu rủi ro tín dụng .14 Dữ liệu bẩn .16 Phân tích cluster 16 Ví dụ Dữ liệu nhóm trường đại học cao đẳng 20 Phân loại 25 Một giải thích trực quan phân loại 26 Ví dụ Phân loại định phê duyệt tín dụng cách trực quan .26 Ví dụ 8.Tập liệu phân vùng XLMiner 28 Phân loại liệu 31 Ví dụ Phân loại liệu cho định tín dụng cách sử dụng điểm tín dụng năm lịch sử tín dụng 32 Kỹ thuật phân loại 32 Ví dụ 10 Phân loại định tín dụng thuật tốn k-NN 34 Ví dụ 11.Phân loại liệu k-NN .37 Phân tích phân biệt (Discriminant Analysis ) .38 Ví dụ 12.Phân loại định tín dụng cách sử dụng phân tích phân biệt .39 Ví dụ 13.Sử dụng phân tích phân biệt để phân loại liệu .43 Hồi quy logistic 44 Ví dụ 14.Phân loại định phê duyệt tín dụng sử dụng hồi quy logistic 46 KỸ THUẬT PHÂN LOẠI TRONG KHAI PHÁ DỮ LIỆU 52 Phân loại gì? 52 Các vấn đề quan tâm phân loại 55 Phân chia đệ quy dừng điều kiện sau đúng: 58 Phân cụm phân cấp: 63 Mục tiêu học tập Sau học chương này, có thể: • Xác định khai thác liệu số cách tiếp cận phổ biến sử dụng khai thác liệu • Giải thích cách phân tích cụm sử dụng để khám phá giảm liệu • Áp dụng kỹ thuật phân tích cụm XLMiner • Giải thích mục đích phương pháp phân loại, cách đo lường hiệu suất phân loại việc sử dụng liệu đào tạo xác nhận • Áp dụng k-Hàng xóm gần nhất, phân tích phân biệt đối xử, hồi quy logistic để phân loại cách sử dụng XLMiner • Mơ tả khai thác quy tắc kết hợp việc sử dụng phân tích rổ thị trường • Sử dụng XLMiner để phát triển quy tắc kết hợp • Sử dụng phân tích tương quan cho nguyên nhân kết làm mẫu Trong báo tạp chí Analytics, Talha Omer nhận thấy việc sử dụng điện thoại di động để thực gọi thoại để lại lượng liệu đáng kể " Nhà cung cấp điện thoại di động biết người bạn gọi, bạn nói chuyện , bạn gọi lúc liệu gọi bạn có thành cơng hay khơng hay bị ngắt qng Nó biết bạn đâu, bạn thực hầu hết gọi từ đâu, quảng cáo bạn phản hồi, bạn mua lần trước đó, v.v ” Nó biết bạn đâu, bạn thực hầu hết gọi từ đâu, bạn phản hồi chương trình khuyến nào, bạn mua lần trước , v.v Xét đến thực tế đại đa số người ngày sử dụng điện thoại di động, lượng liệu khổng lồ hành vi người tiêu dùng ln có sẵn Tương tự, nhiều cửa hàng sử dụng thẻ tích điểm cho phép người tiêu dùng tận dụng lợi giá ưu đãi dành cho người sử dụng thẻ Tuy nhiên, họ làm vậy, thẻ để lại hậu quảdữ liệu kỹ thuật số mơ hình mua hàng Làm doanh nghiệp khai thác liệu này? Nếu họ hiểu rõ mẫu mối quan hệ ẩn liệu, họ khơng hiểu thói quen mua hàng mà cịn tùy chỉnh quảng cáo , khuyến mại, phiếu giảm giá, v.v cho khách hàng gửi tin nhắn văn ưu đãi qua email nhắm mục tiêu (chúng tơi ' khơng nói chuyện spam đây, người dùng đăng ký chọn tham gia tin nhắn vậy) Khai thác liệu lĩnh vực phân tích kinh doanh phát triển nhanh chóng, tập trung vào việc hiểu rõ đặc điểm mơ hình biến nói chung sở liệu sử dụng nhiều công cụ thống kê phân tích Nhiều cơng cụ mà nghiên cứu chương trước, chẳng hạn trực quan hóa liệu, tóm tắt liệu, PivotTables, phân tích tương quan hồi quy, kỹ thuật khác, sử dụng rộng rãi khai thác liệu Tuy nhiên, lượng liệu tăng lên theo cấp số nhân, nhiều phương pháp thống kê phân tích khác phát triển để xác định mối quan hệ biến tập liệu lớn hiểu mẫu ẩn mà chúng chứa Trong chương này, giới thiệu số phương pháp phổ biến sử dụng phần mềm XLMiner để triển khai chúng môi trường bảng tính Nhiều thủ tục liệu yêu cầu kiến thức thống kê nâng cao để hiểu lý thuyết Do đó, chúng tơi tập trung vào ứng dụng đơn giản hiểu mục đích ứng dụng kỹ thuật sở lý thuyết chúng.Ngồi ra, chúng tơi lưu ý chương khơng nhằm mục đích đề cập đếntất cáckhía cạnh khai thác liệu Nhiều kỹ thuật khác có sẵn XLMinerkhông mô tả chương Phạm vi khai thác liệu Khai thác liệu coi phân tích mơ tả phần mơ tả phần Trong phân tích mơ tả, công cụ khai thác liệu giúp nhà phân tích xác định mẫu liệu Ví dụ: biểu đồ Excel PivotTables công cụ hữu ích để mơ tả mẫu phân tích tập liệu; nhiên, chúng yêu cầu can thiệp thủ cơng Các mơ hình phân tích dự báo hồi quy giúp dự đoán mối quan hệ giá trị tương lai biến quan tâm Theo quan sát số nhà nghiên cứu, “ranh giới dự đốn mơ tả khơng rõ ràng (một số mơ hình dự đốn mang tính mơ tả, mức độ dễ hiểu ngược lại).” Trong hầu hết ứng dụng kinh doanh, mục đích phân tích mơ tả để giúp nhà quản lý dự đoán tương lai đưa định tốt ảnh hưởng đến hiệu suất tương lai, vậy, nói chung khai thác liệu chủ yếu phương pháp phân tích dự đốn Một số cách tiếp cận phổ biến khai thác liệu bao gồm:  Thăm dò (khám phá) giảm thiểu liệu: Điều thường liên quan đến việc xác định nhóm yếu tố nhóm giống mặt Cách tiếp cận thường sử dụng để tìm hiểu khác biệt khách hàng phân khúc họ thành nhóm đồng Ví dụ: cửa hàng bách hóa Macy xác định phong cách sống khách hàng: “Katherine”, người ăn mặc truyền thống, cổ điển, khơng chịu nhiều rủi ro thích chất lượng; “Julie”, tân cổ điển sắc sảo chút cổ điển; “Erin”, khách hàng đương đại yêu thích mẻ mua sắm theo thương hiệu; “Alex”, khách hàng thời trang muốn thứ tuyệt vời (họ có phiên dành cho nam) Việc phân khúc hữu ích ho ạt động thiết kế tiếp thị để nhắm mục tiêu tốt đến việc cung cấp sản phẩm Các kỹ thuật sử dụng để xác định đặc điểm nhân viên thành công cải thiện phương thức tuyển dụng tuyển dụng  Phân loại: Phân loại trình phân tích liệu để dự đốn cách phân loại phần tử liệu Một ví dụ phân loại lọc thư rác ứng dụng email Bằng cách kiểm tra đặc điểm văn thư (tiêu đề chủ đề, từ khóa, v.v.), thư có phân lo ại rác hay khơng Các phương pháp phân loại giúp dự đốn liệu giao dịch thẻ tín dụng gian lận hay khơng, người xin vay có r ủi ro cao hay khơng liệu người tiêu dùng có phản ứng với quảng cáo hay không  Sự liên kết: Liên kết q trình phân tích sở liệu để xác định liên kết tự nhiên biến tạo quy tắc cho khuyến nghị mua tiếp thị mục tiêu Ví dụ: Netflix sử dụng liên kết để hiểu khách hàng thích loại phim đưa đề xuất dựa liệu Amazon.com đưa đề xuất dựa giao dịch mua khứ Thẻ khách hàng thân thiết siêu thị thu thập liệu thói quen mua hàng khách hàng in phiếu giảm giá thời điểm mua hàng dựa mua  Mơ hình nhân quả: Mơ hình nhân q trình phát triển mơ hình phân tích để mơ tả mối quan hệ số thúc đẩy hiệu suất kinh doanh — ví dụ: lợi nhuận, hài lịng khách hàng hài lòng nhân viên Hiểu yếu tố thúc đẩy hiệu suất dẫn đến định tốt để cải thiện hiệu suất Ví dụ, nhóm kiểm sốt Johnson Controls, Inc., xem xét mối quan hệ hài lòng tỷ lệ gia hạn hợp đồng Họ phát 91% trường hợp gia hạn hợp đồng đến từ khách hàng hài lòng ho ặc hài lịng, khách hàng khơng hài lịng có tỷ lệ bỏ trốn cao nhiều Mơ hình họ dự đoán gia tăng điểm phần trăm điểm hài lịng tổng thể có giá trị 13 triệu đô la gia hạn hợp đồng dịch vụ hàng năm Kết là, họ xác định định cải thiện hài lịng khách hàng Phân tích hồi quy tương quan cơng cụ để lập mơ hình nguyên nhân kết Khám phá giảm thiểu liệu Một số kỹ thuật khai thác liệu liên quan đến việc khám phá liệu "giảm liệu" - nghĩa là, chia nhỏ liệu lớn thành nhóm ho ặc phân đoạn dễ quản lý cung cấp nhìn sâu sắc Chúng tơi thấy nhiều kỹ thuật trước sách để khám phá liệu giảm liệu Ví dụ: biểu đồ, phân bố tần số biểu đồ, thống kê tóm tắt cung cấp thơng tin đặc tính liệu Đặc biệt, PivotTables r ất hữu ích việc khám phá liệu từ khía cạnh khác giảm liệu XLMiner cung cấp nhiều công cụ kỹ thuật để khám phá liệu bổ sung mở rộng khái niệm công cụ mà nghiên cứu chương trước tìm thấy nhóm Phân tích Dữ liệu dải băng XLMiner, hiển thị Hình 1.1 Lấy mẫu Khi xử lý tập liệu lớn "dữ liệu lớn", tốn thời gian để xử lý tất liệu Thay vào đó, chúng tơi phải sử dụng mẫu Chúng giới thiệu quy trình lấy mẫu Chương XLMiner lấy mẫu từ trang tính Excel từ Microsoft Truy cập sở liệu Ví dụ Sử dụng XLMiner để lấy mẫu từ trang tính Hình 1.1 Ruy băng XLMiner Hình 1.2 Phần liệu rủi ro tín dụng tệp Excel Hình 1.2 cho thấy phần Bảng tính Dữ liệu sở tệp Excel liệu rủi ro tín dụng Mặc dù chắn khơng phải "dữ liệu lớn", bao gồm 425 ghi Từ liệu nhóm phân tích (Data Analysis) ruy-băng XLMiner, nhấp vào nút mẫu (Sample) chọn mẫu (Sample) từ trang tính (Worksheet).Đảm bảo vi liệu xác bao gồm tiêu đề Chọn tất biến ngăn cửa sổ bên trái di chuyển chúng sangbên phải cách sử dụng nút ≤ (nút thay đổi thành ≤ tất biến chuyển sang bên phải ).Chọn tùy chọn phần Tùy chọn lấy mẫu (Sampling Options), trường hợp này, chọn 20 mẫu (khơng có thay trừ hộp mẫu có thay chọn điều tránh trùng lặp) cách sử dụng lấy mẫu ngẫu nhiên đơn giản Bằng cách nhập giá trị vào hộp đặt hạt giống (Set), bạn nhận kết thời điểm khác cho mục đích kiểm sốt, không mẫu ng ẫu nhiên khác chọn Hình 1.3 Dữ liệu rủi ro tín dụng Hình 1.4 cho thấy hộp thoại hồn thành hình 1.5 hiển thị kết Hình 1.4 Kết lấy mẫu XLMiner Trực quan hóa liệu 10 ... kh? ?c để x? ?c định khoảng c? ?ch (ho? ?c độ giống nhau) c? ??m Thư? ?c đo khoảng c? ?ch vật thể sử dụng phổ biến khoảng c? ?ch Euclide Đây phần mở rộng c? ?ch th? ?c mà khoảng c? ?ch hai điểm đường ap tính c? ??nh huyền... 58 Phân c? ??m phân c? ??p: 63 M? ?c tiêu h? ? ?c tập Sau h? ? ?c chương này, c? ? thể: • X? ?c định khai th? ?c liệu số c? ?ch tiếp c? ??n phổ biến sử dụng khai th? ?c liệu • Giải thích c? ?ch phân tích c? ??m sử... đơn gọi phân c? ??m liên kết hoàn chỉnh Trong phương pháp này, khoảng c? ?ch nhóm x? ?c định khoảng c? ?ch c? ??p vật xa nhất, c? ?ch nhóm vật H? ?nh 1.10 Tính khoảng c? ?ch Euclide hai điểm 19 Phương pháp thứ ba