Khai phá dữ liệu thuật toán Preproccessing ĐH Bách Khoa HN

Dữ liệu thu được từ thực tế ?+ Dữ liệu bị thiếu missing data:... Dữ liệu thu được từ thực tế ?+ Dữ liệu bị thiếu missing data:... Dữ liệu thu được từ thực tế ?+ Dữ liệu bị thiếu missing

Nội dung trình bày

I GIỚI THIỆU

Tiền xử lý dữ liệu – Data preprocessing

Kỹ thuật tiền xử lý dữ liệu

Data Cleaning

II LÀM SẠCH DỮ LIỆU

DATA CLEANING

2.1 Dữ liệu thu được từ thực tế ?

+ Dữ liệu bị thiếu (missing data):

nhập, gặp sự cố…

suất xảy ra cao…

Ngăn chặn dữ liệu thiếu: thiết

2.1 Dữ liệu thu được từ thực tế ?

+ Dữ liệu bị thiếu (missing data):

là một lỗi ngẫu nhiên hay

do biến động của các biến trong quá trình thực hiện, hoặc sự ghi chép nhầm lẫn

ko được kiểm soát…

GIẢI PHÁP

PHÂN DỮ LIỆU THÀNH CÁC BIN

HỒI QUY

Phương pháp thường dùng là hồi quy

HỒI QUY – VÍ DỤ

Mối quan hệ y = x+1 từ đó có thể xác định

PHÂN CỤM

quan

đưa chúng

PHÂN CỤM– VÍ DỤ

2.1 Dữ liệu thu được từ thực tế ?

+ Dữ liệu bị thiếu (missing data):

DỮ LIỆU KHÔNG NHẤT QUÁN

Nguyên nhân: không nhất quán trong qui ước, trong định dạng,

hoặc do thiết bị ghi nhận…

XỬ LÝ DỮ LIỆU KHÔNG NHẤT QUÁN

III TÍCH HỢP DỮ LIỆU

DATA INTERGRATION

Tích hợp dữ liệu

Kết hợp dữ liệu từ nhiều nguồn vào một kho thống nhất.

Tích hợp dữ liệu – nhận dạng thực thể

Tích hợp dữ liệu – dư thừa dữ liệu

Phân tích tương quan giữa hai thuộc tính số

Phân tích tương quan giữa hai thuộc tính rời rạc

Tích hợp dữ liệu – mâu thuẫn giá trị dữ liệu

Cùng một thực thể thực, các giá trị thuộc

tính đến từ các nguồn khác nhau có thể

khác nhau về các biểu diễn.

IV BIẾN ĐỔI DỮ LIỆU

DATA TRANSFORMATION

Biến đổi dữ liệu – Định nghĩa

Biến đổi dữ liệu – các phương pháp

Biến đổi dữ liệu – Phương pháp

Làm trơn dữ liệu

Biến đổi dữ liệu – phương pháp

Biến đổi dữ liệu – Các phương pháp

Biến đổi dữ liệu – Các phương pháp

Chuẩn hóa

Biến đổi dữ liệu – Chuẩn hóa

Chuẩn hóa min-max

Giá trị cũ: v ϵ [ minA , max A]

Giá trị mới v’ϵ [new_minA,new_maxA]

Eg: nếu thu nhập từ 1 triệu đến 10 triệu là bình thường trong khoảng [0,1] thì thu nhập 7 triệu

A A

A A

A

A

min new

min new

max

new min

Biến đổi dữ liệu – Chuẩn hóa

Chuẩn hóa bằng decimal scaling

10 ' =

Biến đổi dữ liệu

V GIẢM BỚT DỮ LIỆU

DATA REDUCTION

Giảm bớt dữ liệu

Giảm bớt dữ liệu- các chiến lược

Original Data Compressed

 kết hợp khối dữ liệu

 Kết hợp bằng các hàm nhóm: average,

sum, min, max…

 Dữ liệu ở các mức trừu tượng khác

nhau, mức trừu tượng càng cao thì thu giảm càng nhiều

Giảm bớt dữ liệu – Phương pháp

 Chọn một số thuộc tính

 Loại bỏ thuộc tính, chiều, đặc trưng, dư

thừa, không thích hợp

 Mục tiêu: tập ít các thuộc tính nhất vẫn

đảm bảo phân bố xác suât

 Eg: với dữ liệu 1 con người: có thể giảm

Giảm bớt dữ liệu – Phương pháp

 Thu giảm chiều

 Biến đổi wavelet

 Phân tích nhân tố chính

Giảm bớt dữ liệu – Phương pháp

 Thu giảm lượng

 Biểu diễn bằng dữ liệu thay thế

 Hồi quy

 Phương pháp phi thông số

V KẾT LUẬN

Kết luận

Làm sạch dữ liệu: xử lý dữ liệu bị thiếu, làm trơn

dữ liệu nhiễu, nhận dạng các phần tử biên, hiệu

chỉnh dữ liệu không nhất quán

Tích hợp dữ liệu: vấn đề nhận dạng thực thể, vấn

đề dư thừa , vấn đề mâu thuẫn giá trị dữ liệu

Biến đổi dữ liệu: làm trơn dữ liệu, kết hợp dữ liệu,

tổng quát hóa, chuẩn hóa, xây dựng thuộc tính/ đặc tính

Thu giảm dữ liệu: kết hợp khối dữ liệu, chọn một

số thuộc tính, thu giảm chiều, rời rạc hóa và tạo